Представляю вашему вниманию курс, который я недавно опубликовал на Степике – Разработка LLM с нуля.
В курсе вам предстоит с нуля разработать современную LLM и все необходимые для ее работы компоненты:
-
Токенизатор (BPE)
-
Эмбеддинги (Токенов и Позиционные)
-
Блок Декодера:
-
Multi-Head Attention
-
FeedForward-слои
-
Остаточные связи
-
-
Вероятностная генерация
После того, как основной код будет готов, мы соберем необходимый для pre-train’а датасет и обучим свою LLM.
Разработка будет вестись на Python и низкоуровневых компонентах PyTorch.
Курс платный. Следующие две недели по промокоду FIRST предоставляется скидка 50%.
Автор: slivka_83
