Разработка LLM с нуля. Новые модели. gemma.. gemma. gpt.. gemma. gpt. gpt-2.. gemma. gpt. gpt-2. llama.. gemma. gpt. gpt-2. llama. llm.. gemma. gpt. gpt-2. llama. llm. mistral.. gemma. gpt. gpt-2. llama. llm. mistral. mixtral.. gemma. gpt. gpt-2. llama. llm. mistral. mixtral. transformers.. gemma. gpt. gpt-2. llama. llm. mistral. mixtral. transformers. Я пиарюсь.

Разработка LLM с нуля. Новые модели - 1

Крупное обновление в моем курсе Разработка LLM с нуля.

Напомню, в курсе мы с нуля разрабатываем модель GPT-1 и все необходимые для ее работы компоненты: токенизатор, эмбединги, механизм внимания и т.д. Вся разработка ведется на Python и низкоуровневых компонентах PyTorch.

Теперь, помимо GPT-1, нам предстоит реализовать кучу новых LLM:

  • GPT-2

  • Llama

  • Mistral

  • Mixtral

  • Gemma

В процессе их разработки мы изучим новые архитектурные фишки:

  • Pre-norm, RMSNorm — новые способы нормализации

  • GELU, SiLU, SwiGLU, GeGLU — новые функции активации

  • KV-cache, SWA — механизмы, позволяющие оптимизировать инференс

  • RoPE — новый способ кодирования позиционных эмбедингов

  • GQA, MQA — новые экономичные механизмы внимания

  • MoE — новая экономичная архитектура для FNN

Курс платный. Следующие две недели по промокоду TRIO предоставляется скидка 30%.

Разработка LLM с нуля. Новые модели - 2

Мои курсы: Разработка LLM с нуля | Алгоритмы Машинного обучения с нуля

Автор: slivka_83

Источник

Версия для печати Версия для печати
Rambler's Top100