Разработка LLM с нуля. Новые модели

Крупное обновление в моем курсе Разработка LLM с нуля ^[1].

Напомню, в курсе мы с нуля разрабатываем модель GPT-1 и все необходимые для ее работы компоненты: токенизатор, эмбединги, механизм внимания ^[2] и т.д. Вся разработка ведется на Python и низкоуровневых компонентах PyTorch.

Теперь, помимо GPT-1, нам предстоит реализовать кучу новых LLM:

• GPT-2

• Llama

• Mistral

• Mixtral

• Gemma

В процессе их разработки мы изучим новые архитектурные фишки:

• Pre-norm, RMSNorm — новые способы нормализации

• GELU, SiLU, SwiGLU, GeGLU — новые функции активации

• KV-cache, SWA — механизмы, позволяющие оптимизировать инференс

• RoPE — новый способ кодирования позиционных эмбедингов

• GQA, MQA — новые экономичные механизмы внимания

• MoE — новая экономичная архитектура для FNN

Курс платный. Следующие две недели по промокоду TRIO ^[3] предоставляется скидка 30%.

Мои курсы: Разработка LLM с нуля ^[1] | Алгоритмы Машинного обучения с нуля ^[4]