Как работает трансформер (LLM)
Это мой первый пост на Хабре, так что не судите строго :-)Текст ниже - это слегка отредактированная версия чата с моими друзьями, где я вызвался объяснить, что же именно происходит в мозгах «электронного болвана». Так получилось, что в конце 2025 — начале 2026 я смог, наконец, удовлетворить собственное любопытство относительно внутреннего устройства современных нейросетей. Правда, не до конца — сейчас уже почти все переходшли на архитектуру MoE, но насколько я вижу — это скорее оптимизация, нежели что‑то кардинально новое. Трансформер так и остаётся в центре всего этого технологического чуда, что мы наблюдаем.
Детальный разбор архитектуры современных языковых моделей
Доброго времени суток, «Хабр»!Сегодня мы погрузимся в мир современных языковых моделей, детально изучим их архитектуру и разберемся в принципах работы. Готовы к захватывающему путешествию в мир искусственного интеллекта? Тогда пристегните ремни — мы отправляемся!
История развития языковых моделей: ч. 2, от ChatGPT до рассуждающего режима
Доброго времени суток, «Хабр»!
Native Sparse Attention: новый вид разреженного внимания от DeepSeek
Когда Маск выпустил Grok 3, а Сэм Альтман все еще колебался, стоит ли открывать исходный код, Лян Вэньфэн, как соавтор, работал с исследовательской группой DeepSeek над созданием шокирующей и сенсационной исследовательской статьи. DeepSeek официально представила свой последний научный прорыв — Native Sparse Attention (NSA)! Эта технология имеет большое значение. Она, скорее всего, значительно повысит способность следующего поколения больших языковых моделей обрабатывать длинные тексты, полностью учитывая при этом операционную эффективность. Нет сомнений, что это еще одна веха в области больших языковых моделей (LLM)!
