Разработка LLM с нуля

Представляю вашему вниманию ^[1] курс, который я недавно опубликовал на Степике – Разработка LLM с нуля ^[2].

В курсе вам предстоит с нуля разработать современную LLM и все необходимые для ее работы компоненты:

• Токенизатор (BPE)

• Эмбеддинги (Токенов и Позиционные)

• Блок Декодера:

  • Multi-Head Attention

  • FeedForward-слои

  • Остаточные связи

• Вероятностная генерация

После того, как основной код будет готов, мы соберем необходимый для pre-train’а датасет и обучим свою LLM.

Разработка будет вестись на Python и низкоуровневых компонентах PyTorch.

Курс платный. Следующие две недели по промокоду FIRST ^[3] предоставляется скидка 50%.