Субъективный взгляд на перспективы Больших Языковых Моделей

Прошло около полугода после последней моей статьи ^[1] о перспективах развития больших языковых моделей. Чтобы не утомлять долгим чтением, её краткое резюме:
Критика современных больших языковых моделей (БЯМ): они статичны, неэффективны в вычислениях и обучении ^[2], что ведет индустрию к технологическому тупику. Главные проблемы связаны с экспоненциальным ростом вычислительных мощностей, дефицитом качественных данных и ограничениями архитектуры.

Итак, можно подвести некоторые итоги, что же мы увидели за прошедшее время.

1. Прежде всего появление “думающих” моделей. Именно в кавычках, поскольку подобное “думание” по факту лишь имитация саморефлексии, а по сути – генерация разновидности расширенного промпта самой моделью, который, что вполне ожидаемо, увеличивает качество ответов. Можно ли это назвать прорывом? Если посмотреть на стоимость токена такой “генерации”, то я бы скорее назвал это провалом. Ни о каком практическом применении такой технологии при таких ценах нет и быть не может, а потому OpenAI продолжает считать убытки. Зачем вообще было выпускать подобный продукт? Все просто: маркетинг. Инвесторы вложились и ждут новых продуктов, новых технологий и нужно кинуть им какую-то кость. Наследник GPT-4o где-то застрял по дороге, а конкуренты дышат в затылок и норовят обойти на повороте. В итоге на коленке ваяется поделка, которую любой уважающий себя девелопер за пару дней может сделать самостоятельно, и выдается за новое достижение.

2. Проблемы отрасли никуда не делись – новых качественных данных нет, принципиальных архитектурных прорывов тоже. Можно сказать, что отрасль от этапа бурного развития переходит к перевариванию достигнутого, модели оптимизируются, повышается качество данных, попутно производя много информационного шума и подковерного меряния результатами тестов.

3. Из положительных моментов можно отметить то, что технология достигла той стадии зрелости, когда на ее основе можно решать прикладные задачи: агентные системы различного назначения, RAG-системы и это действительно очень позитивно. Прежде всего тем, что мы, как цивилизация, начали новый этап автоматизации, теперь уже интеллектуального труда.

4. Из перспектив – грандиозный проект Stargate. Альтман видимо нашел нужные подходы и для удовлетворения своих амбиций готов переходить к освоению уже не десятков, а сотен миллиардов долларов. Есть ли технологическая база под такой проект? Мне видится, что нет, а вот желание распилить полутриллионный бюджет есть. Что и будет осуществляться в ближайшие 4 года. А там глядишь что-то еще придумают, что можно будет выдать за грандиозный прорыв. А пока прорыв будет у NVIDIA и энергетических компаний, главных бенефициаров. И если AMD решит свои программные проблемы, то может и ей что-то перепадет.

5. Обещанная технологическая сингулярность никак не наступает. Перефразируя старый анекдот: то энергии не хватает, то данные не подвезли.

Но это все лирика. Если же посмотреть в корень проблемы всех больших языковых моделей, даже не затрагивая архитектурных особенностей, то он прежде всего в том, что модели именно языковые. А что есть язык? Язык – это форма последовательного выражения состояния сознания. По сути – протокол передачи информации. Можно ли понять как работает сложное устройство и воссоздать его, изучая лишь его информационные протоколы сопряжения? Думаю вопрос риторический. Языковая модель обучается лишь на продукте сознания, она не думает, а имитирует мышление ^[3], обобщая и копируя паттерны рассуждений из доступных ей данных. Ведь не будем забывать ^[4], что искусственная нейронная сеть – это прежде всего великий аппроксиматор и это то, что она делает действительно хорошо.
Мы по прежнему не знаем и не понимаем, как работает наше сознание. Когнитивная психология, несмотря на все ее достижения, только в начале этого длинного и сложного пути. А без понимания работы сознания невозможно создать ни систему подобную ему, ни, тем более, превосходящую его. Сложность биологического нейрона ^[5] на многие порядки сложнее его искусственного прототипа. И это даже не беря во внимание ^[6] вопрос о возможных квантовых эффектах в нем, о чем до сих пор нет единого мнения у исследователей.
Все, что делает большая языковая модель – это строит модель всех возможных цепочек рассуждений, доступных ей в выраженной человеком форме. И если мы дадим ей задачу, прототипа которой не существовало и она не обучалась ее решать, то ее ожидает провал. Хотя человек, имея достаточно знаний и информации, ее решит. Потому что человек в своем мозгу ^[7] строит модель мира, со всеми его проявлениями и свойствами и умеет этой моделью пользоваться.

Резюмируя все вышесказанное: AGI в ближайшее время не будет – расходимся. Будем улучшать и осваивать то, что есть, повышать производительность интеллектуального труда и избавляться от интеллектуальной рутины.

Господа прикладники – ваш выход!