Рождение LLM: история, которую мало кто знает

Когда люди слышат “языковая модель”, у большинства сразу всплывает ChatGPT, Gemini, ну или на худой конец что-то связанное с Яндексом. Но мало кто задумывается – а с чего вообще всё началось? Кто первым решил, что машина может понимать текст не по шаблону, а по-настоящему?

Я попробую рассказать эту историю без лишнего академизма – просто, но честно.

До нейросетей была статистика

Конец 1980-х. Никаких тебе трансформеров, никакого обучения ^[1] с подкреплением ^[2]. Тогда языковые модели строились на банальной статистике – модель просто смотрела, какое слово чаще всего следует за предыдущим. Это называлось n-граммными моделями.

Работало это примерно так: если ты написал “Я хочу есть”, модель по статистике предсказывала следующее слово – “пиццу”, “суши”, “борщ” – в зависимости от того, на каких текстах её обучили. Грубо, примитивно, но это был первый реальный шаг.

Проблема была очевидной – такие модели не понимали контекст дальше двух-трёх слов. Предложение из десяти слов для них уже было тёмным лесом. Плюс они жрали огромное количество памяти ^[3]: чтобы хранить статистику для всех возможных троек слов в большом корпусе текстов, нужны были гигабайты – по тем временам это было реально больно.

IBM и первые попытки сделать что-то умнее

В начале 90-х в IBM Research работала группа людей, которые всерьёз занялись машинным переводом. Они создали модели под названием IBM Model 1-5 – и это был уже другой уровень. Модели учились находить соответствия между словами в разных языках, опираясь на большие корпуса параллельных текстов.

Параллельно в AT&T Bell Labs Ян Лекун со своей командой возился с нейронными сетями. Тогда это выглядело как академическая экзотика, на которую никто особо не ставил. Финансирование резали, скептики говорили что это тупик. Период с конца 80-х по середину 90-х в ML-сообществе вообще называют “зимой ИИ” – интерес ^[4] и деньги ушли, большинство исследователей переключились на другие задачи.

Но именно эти два направления – статистика и нейросети – в итоге и слились в то, что мы сегодня называем LLM.

2003 год – момент, который все пропустили

В 2003 году Йошуа Бенджио с коллегами опубликовал работу “A Neural Probabilistic Language Model”. Это была та самая точка, после которой всё начало меняться.

Они предложили не просто считать частоту слов, а обучать нейросеть предсказывать слово по контексту. Причём каждое слово превращалось в вектор – числовое представление в многомерном пространстве. Слова с похожим смыслом оказывались “рядом” в этом пространстве.

Тогда это называлось word embeddings – и именно отсюда растут ноги у всего современного NLP.

Статью прочитали немногие. Никакого хайпа не было. Просто тихая, важная работа. На конференции NeurIPS того года её встретили вежливым интересом – не более. Бенджио потом говорил, что они сами не до конца понимали, что сделали.

Word2Vec – когда мир начал замечать

2013 год. Команда Google во главе с Томасом Миколовым выпускает Word2Vec – и вот тут уже народ начинает реально удивляться.

Модель умела делать вещи, от которых у людей ехала крыша:

“король” – “мужчина” + “женщина” = “королева”

Не потому что кто-то это запрограммировал. Модель сама вывела эту логику ^[5] из текстов. Причём это работало для десятков таких аналогий – страны и столицы, профессии и инструменты, глаголы и их формы. Модель захватила структуру языка просто через предсказание соседних слов.

Это был момент, когда стало понятно – что-то в этом направлении реально работает. Именно тогда в сторону NLP начали смотреть большие компании с большими бюджетами.

ELMo и контекст, которого так не хватало

2018 год, чуть раньше GPT. Команда AllenNLP выпускает ELMo – и решает проблему, которую Word2Vec так и не смог закрыть.

В Word2Vec слово “ключ” всегда имело один вектор – неважно, речь про ключ от квартиры или ключ в музыке. ELMo впервые сделал так, чтобы представление слова зависело от контекста, в котором оно стоит. Это звучит как мелочь, но на практике это был огромный скачок в качестве.

Модель читала предложение в обоих направлениях – слева направо и справа налево – и собирала контекст с обеих сторон. Отсюда и название: ELMo – Embeddings from Language Models.

Трансформер – тот самый перелом

2017 год. Google Brain публикует статью “Attention Is All You Need”. Именно здесь рождается архитектура трансформера – основа всех современных LLM.

До этого нейросети читали текст последовательно – слово за словом. Трансформер отказался от этой идеи. Он смотрит на весь текст сразу и учится понимать, какие слова связаны друг с другом по смыслу – независимо от того, насколько далеко они стоят в предложении.

Механизм назвали “attention” – внимание ^[6]. Модель буквально учится “обращать внимание” на нужные части текста. Грубо говоря: читая слово “он” в конце длинного абзаца, модель понимает, что “он” – это конкретный человек, упомянутый десять предложений назад.

Плюс трансформер считается параллельно – в отличие от рекуррентных сетей, которые были до него. Это значит, что его можно эффективно обучать на GPU. Именно это открыло дорогу к масштабированию.

И вот тут всё понеслось.

GPT-1 – первая настоящая LLM

2018 год. OpenAI выпускает GPT-1 – Generative Pre-trained Transformer. 117 миллионов параметров. Обучена на книгах из открытого интернета.

По современным меркам – смешной размер. Но по тем временам это был прорыв. Модель умела генерировать связный текст, отвечать на вопросы и переключаться между задачами без отдельного обучения под каждую. Это называлось “few-shot learning” – ты просто давал модели пару примеров прямо в запросе, и она понимала, что от неё хотят.

GPT-2 в 2019-м OpenAI поначалу отказались публиковать полностью – сказали, что модель “слишком опасна”. Сейчас это выглядит смешно, но тогда 1.5 миллиарда параметров казались чем-то запредельным. GPT-3 в 2020-м – уже 175 миллиардов. А дальше – всем известный ChatGPT в конце 2022 года и то, что последовало за ним.

Но корни – вот здесь, в этой цепочке от статистики 80-х до трансформера 2017 года.

Сейчас LLM уже не просто генерируют текст. Они встроены в рабочие инструменты, приложения, голосовые помощники. Модели читают картинки, слушают голос, пишут код. Порог входа для обычного пользователя упал до нуля.

Если хочешь попробовать несколько топовых моделей в одном месте – есть бесплатный Telegram-бот ^[7], который я использую сам. Там собраны лучшие модели, без ограничений на количество сообщений и без подписок. Можно переключаться между режимами Fast и Thinking – смотря какая задача. Настроить скиллы, выбрать роль для бота. Он распознаёт текст с фото, описывает изображения, решает задания по картинке, транскрибирует голосовые в текст – и сам принимает голосовые промпты. Всё в одном месте.

Вместо вывода

История LLM – это не история одного гения ^[8] и одного открытия. Это лет сорок тихой работы десятков команд, которые делали своё дело, пока никто не смотрел. Статистики, лингвисты, математики ^[9], инженеры – все они по чуть-чуть складывали этот пазл.

Бенджио, Хинтон и Лекун в 2018-м получили премию Тьюринга – что-то вроде нобелевки в компьютерных науках. Журналисты тогда написали про это пару строчек и забыли. А через четыре года весь мир узнал, что такое ChatGPT.

В какой-то момент пазл сложился. Теперь мы все пользуемся результатом – зачастую даже не задумываясь, откуда это всё взялось.