Черный лебедь в мире LLM или когда убьют трансформер?

И снова возвращаюсь к теме больших языковых моделей. В своей достаточно старой статье ^[1] я писал, что текущая архитектура БЯМ(LLM) — это гонка в тупик. Наблюдения за прошедшее время только укрепляют меня в этом мнении. Но сегодня хочу поговорить о другом, а что если тупик — это не конец пути, а просто барьер, за которым нас ждет технологическая революция? И почему те, кто сейчас вкладывает сотни миллиардов в дата-центры, сделают всё, чтобы эта революция не случилась? Разберем по порядку.

Токены — фундаментальный костыль архитектуры

В прошлый раз я отмечал ключевую проблему: статичность структуры БЯМ. Но есть еще одна проблема, о которой говорят реже, хотя она куда фундаментальнее. Это токенное представление информации.

Токен — это не слово и не смысл. Это статистически частый фрагмент текста, полученный алгоритмами типа BPE (Byte Pair Encoding). Модель вынуждена эмулировать смысл через синтаксис и статистику символов.

Отметим про себя несколько следствий этого подхода:

1. Раздутый контекст. Чтобы понять сложную идею, модели нужно прогнать через механизм внимания ^[2] тысячи токенов. То, что для человека несколько предложений текста, для модели — матрица 10 000 x 10 000, требующая колоссальной памяти ^[3] для KV-кэша. Квадратичная сложность механизма внимания (O(N^2)) — это фатальная особенность архитектуры.

2. Низкая информационная плотность. Модель тратит миллиарды параметров на запоминание ^[4] грамматических связок, предлогов и вероятностей сочетания символов, вместо того чтобы оперировать чистой логикой ^[5].

3. Авторегрессионная неэффективность. Модель вынуждена генерировать ответ токен за токеном, публично «проговаривая» свои мысли. Это медленно и энергозатратно.

Человеческий мозг ^[6] не мыслит токенами, у нас нет «внутреннего монолога», который со скоростью 50 слов в секунду генерирует текст для самого себя. Мы оперируем концептами, образами, пространствами состояний и взаимосвязями.

И вот тут возникает вопрос: почему бы не научить модели также оперировать высокоуровневыми представлениями?

Кому выгодно текущее положение вещей?

Если переход к концептам так очевиден, почему индустрия с таким упорством продолжает наращивать параметры и строить дата-центры? Ответ на самом деле простой: это выгодно всем, кроме конечного потребителя.

Корпоративная олигополия

В Кремниевой долине есть термин «Compute Moat» (вычислительный ров). Обучение ^[7] современных топовых моделей требует кластеров из десятков тысяч чипов H100/H200/B200, гигантских объемов энергии и систем жидкостного охлаждения. Стоимость одной тренировки перевалила за $100 млн.

Это создает непроходимый барьер входа. Не то, что отдельные исследователи, но даже университеты не могут позволить себе исследования на уровне корпораций. Стартапы вынуждены покупать доступ к API вместо создания собственных моделей.

Финансовый пузырь на стероидах

Знаменитый отчет Sequoia Capital «AI’s $600 Billion Question», регулярно обновляемый Дэвидом Каном, прямо указывает на проблему: AI-компаниям нужно $600 миллиардов годовой выручки, чтобы оправдать текущие инфраструктурные расходы. Но где взять эти деньги?

По оценкам Sequoia, существует колоссальный разрыв между инвестициями и реальной отдачей. Стоимость AI-компаний выросла на $27 триллионов за последние три года — это 36% стоимости всего американского фондового рынка. Пять крупнейших компаний планируют потратить более $800 миллиардов на ИИ-инвестиции только в 2026 году. Просто вдумайтесь на минуту в порядок этиц цифр и динамику с которой все это развивается.

Capital Economics прямо предсказывал крах AI-пузыря в 2026 году из-за роста процентных ставок и инфляции. Хотя я думаю, что в 2026 это точно не случится, поскольку тут есть еще одна крайне заинтересованная сторона.

Государственный интерес: ИИ как спасательный круг экономики

Вот что действительно интересно — хайп вокруг ИИ и колоссальные инвестиции в эту сферу создают значительную долю прироста ВВП США. Без этого с большой вероятностью США уже давно скатились бы в рецессию.

Посмотрите на цифры:

• Во втором квартале 2025 года инвестиции в ИИ и дата-центры обеспечили 30% роста ВВП

• В первом квартале 2026 года ИИ обеспечил 67% роста экономики США (ВВП вырос на 2.0%)

• ING оценивает вклад ИИ в 44% роста ВВП во втором квартале 2026

• AI-капитальные затраты обеспечили 1.1% роста ВВП в первой половине 2025

The Economist прямо задается вопросом: «Если лопнет AI-пузырь, вызовет ли это рецессию?». Ответ очевиден: да, вызовет и это будет не просто рецессия, это будет катастрофа.

Поэтому сами власти США крайне заинтересованы в дальнейшем надувании пузыря, крах которого может похоронить не только технологические компании, но и само государство.

Федеральная резервная система и Министерство торговли США публикуют отчеты, подчеркивающие вклад ИИ в экономику. Это не просто статистика — это прямой сигнал рынкам: «Инвестируйте дальше, это безопасно».

Когда Sequoia Capital заявляет, что 2026 год будет «Year of Delays» для дата-центров и AGI, это не повод для паники, а способ мягко охладить рынок, не допуская обвала.

Перспективные разработки: выход из тупика

Но если не задумываться о судьбах финансовых рынков и перспектив государственного образования под названием США, то для простых смертных не все так плохо. Есть исследователи, которые понимают ограниченность текущего подхода и пытаются совершить радикальный пересмотр подхода.

Янн ЛеКун и его JEPA )

Известный исследователь Янн ЛеКун открыто заявляет, что авторегрессионные LLM (предсказание следующего токена) — это тупик. Он продвигает архитектуру JEPA (Joint Embedding Predictive Architecture).

Суть ее заключается в том, что модель не предсказывает следующий токен или пиксель. Она переводит данные в скрытое пространство (латентное представление) и предсказывает следующий смысл. То есть модель учится оперировать абстракциями, игнорируя ненужный шум (токены).

Прогресс впечатляет:

• V-JEPA работает с видео в абстрактном пространстве представлений

• VL-JEPA (2025) показывает лучшую производительность при 50% меньше обучаемых параметров

• LeJEPA (2026) предлагает математически ^[8] обоснованный способ стабилизации обучения world-models

ЛеКун опубликовал каталог из 14 JEPA-моделей, называя это «структурным сдвигом, который нам отчаянно нужен».

Chain of Continuous Thought (Coconut)

Исследователи из одной запрещенной в России корпорации представили концепцию Coconut — «Непрерывная цепочка мыслей». Вместо того чтобы заставлять модель писать промежуточные рассуждения текстом (токенами), модель учат рассуждать векторами. Модель делает шаг «мысли» в латентном пространстве, обновляет свое внутреннее состояние и сразу переходит к следующему шагу.

Результаты экспериментов показывают, что Coconut превосходит Chain-of-Thought на задачах логического рассуждения, требующих существенного поиска при планировании. Модель достигает лучшего соотношения между качеством и количеством «thinking tokens».

Это колоссально экономит вычисления и делает рассуждения более чистыми, избавляя модель от необходимости подбирать «правильные слова».

State Space Models: Mamba-3 и другие

В марте 2026 года Together.ai представила Mamba-3 — новую state space model, разработанную с фокусом на эффективность инференса. В отличие от предыдущих версий, Mamba-3 оптимизирована именно для скорости работы, а не только для обучения.

На масштабе 1.5B параметров Mamba-3 улучшает среднюю точность на downstream задачах на 0.6 процентных пункта по сравнению со следующими лучшими моделями. Архитектура обеспечивает линейное время инференса, что меняет экономику GPU-развертывания.

RWKV, хотя и имеет меньшее сообщество чем Mamba, демонстрирует больше реальных внедрений благодаря своей простоте.

State Space Models созданы именно для того, чтобы сломать монополию тяжелых трансформеров и перенести AI на edge-устройства (смартфоны, ПК).

Черный лебедь: что произойдет при успехе?

Теперь представим, что одна из этих технологий завтра выстрелит. Появится архитектура, которая дает качество современных Frontier-моделей, но требует в 10-100 раз меньше вычислительных ресурсов и памяти.

Это будет тем самым эффектом «черного лебедя» — событием, которое перевернет всю индустрию и экономику.

Финансовое землетрясение

Первая реакция ^[9] Уолл-стрит будет панической:

• Обвал акций Nvidia и полупроводниковых гигантов. Капитализация Nvidia держится на колоссальном спросе на ее новейшие чипы. Если для инференса хватит одной потребительской видеокарты, заказы на десятки миллиардов долларов будут отменены. Акции рухнут на десятки процентов за считанные дни.

• Кризис облачных провайдеров. Microsoft, Amazon, Google сейчас тратят сотни миллиардов на строительство дата-центров. Эти инвестиции окажутся «токсичными активами». Им придется списывать гигантские убытки.

• Смерть стартапов-«прослоек». Тысячи компаний, чей бизнес строится на перепродаже облачного API, просто обанкротятся.

Макроэкономическая катастрофа

Но самое страшное — это влияние на экономику США в целом.

Если AI-пузырь лопнет из-за появления эффективной альтернативы:

• 30-67% драйвера роста ВВП исчезнут мгновенно и это катком проедет по всей экономике

• Инвестиции в $800+ миллиардов окажутся выброшенными на ветер

• Фондовый рынок потеряет 36% своей стоимости (это $27 триллионов)

• США войдут в глубокую рецессию, возможно, худшую за всю свою историю

Вот почему государство не может допустить краха пузыря. Но и не может допустить появления технологии, которая сделает пузырь ненужным.

Конец монополии

Если технология станет легкой:

• Студент в общежитии сможет обучать собственные модели на обычном игровом ПК

• Стоимость генерации упадет почти до нуля

• Победа Open Source станет неизбежной

Расцвет Edge AI

ИИ перестанет быть «чат-ботом в браузере». Он встроится в саму операционную систему. Ваш телефон, автомобиль, умный дом будут постоянно «понимать» контекст вокруг вас, не отправляя ни байта в интернет. Приватность по умолчанию.

Геополитический переворот

Сейчас США сдерживают технологическое развитие других стран с помощью эмбарго на поставку передовых AI-чипов. Если новая архитектура требует в 100 раз меньше ресурсов, она сможет эффективно работать на старых чипах или дешевых ASIC, которые производятся везде. Санкции потеряют смысл.

Реакция корпораций и государства: сопротивление неизбежно

Но было бы наивным думать, что крупнейшие американские корпорации и само государство не думают об этом. Там также прекрасно понимают, о чем мы говорим и разумеется не будут сидеть сложа руки. И самые очевидные действия следующие:

1. Скупка и уничтожение конкурентов

Как только стартап разработает прорывную архитектуру, его просто купят, а затем… технология будет «интегрирована» (похоронена) в недрах корпорации, чтобы не каннибализировать текущий бизнес. История полна таких примеров.

2. Дискредитация

Будет запущена кампания по дискредитации новых подходов:

• «Это не масштабируется»

• «Это не работает на реальных задачах»

• «Это небезопасно»

• «Это не пройдет compliance»

3. Государственное регулирование как барьер

Здесь государство и корпорации объединят усилия. Будут лоббироваться законы, которые:

• Требуют обязательной сертификации AI-моделей (дорого и долго)

• Вводят ответственность за действия AI (что сделает небольшие компании непривлекательными для инвесторов)

• Создают «белые списки» одобренных архитектур

• Требуют аудита безопасности, доступного только крупным игрокам

Это создаст регуляторный ров — барьер входа, который невозможно преодолеть без миллиардов долларов и связей в Вашингтоне. И первые признаки такого регулирования мы уже наблюдаем.

4. Контроль над нарративом

Государственные агентства будут публиковать отчеты, подчеркивающие вклад текущих AI-технологий в экономику. Это создаст общественное давление: «Не ломайте то, что работает и кормит страну».

Любая попытка предложить радикально новую архитектуру будет встречена вопросом: «А вы понимаете, что это уничтожит триллионы долларов инвестиций и миллионы рабочих мест?»

5. Создание экосистемной зависимости

Корпорации будут привязывать рынок к своей инфраструктуре:

• Специализированные форматы моделей, которые работают только на их железе

• Закрытые API, которые невозможно воспроизвести

• Патентные войны против альтернативных подходов

6. Контроль над исследованиями

Большинство топ-исследователей уже работают в корпорациях. Они будут направлять гранты и финансирование в «безопасные» направления (оптимизация трансформеров), а не в радикально новые архитектуры.

Что делать нам?

Мы в России, против нас технологические санкции. Лидеры индустрии Сбер и Яндекс с их моделями что-то пытаются создавать, но мы видим, что… впрочем, не будем о грустном. Причем вдвойне грустно, что наш собственный вектор развития лежит в направлении «догнать», мы упорно тюним чужие паровые двигатели и делаем потуги создать свой, но никак не пойти своим путем, чтобы придумать двигатель внутреннего сгорания. При том, что лидеры российского рынка буквально пылесосом собирают с рынка все перспективные кадры и выстраивают под себя финансовые потоки государственного финансирования при очевидном оверпрайсе. Почему это происходит? Для меня загадка, не хочется развивать конспирологических теорий, но задумываться заставляет.

Есть ли выход? Выход есть всегда.

Нужно идти другим путем. Не гнаться за корпорациями в их гонке мегаватт и триллионов параметров, где мы по определению неконкурентоспособны. Нужно инвестировать в фундаментальные исследования альтернативных архитектур. Ряд примеров я назвал выше, но их гораздо больше. А иногда, чтобы придумать что-то новое, нужно просто вспомнить хорошо забытое старое.

Для нас появление эффективной архитектуры — это не угроза, а шанс. Шанс обойти технологические санкции и создать конкурентоспособный ИИ без доступа к B200, шанс получить реальный технологический суверенитет о котором очень много говорится, но на практике очень мало делается. А за очередной «прорыв» выдается китайская поделка у которой сменили наклейку.

Заключение

Текущий бум LLM — это эпоха «паровых машин», где мы пытаемся разогнать топку (железо), вместо того чтобы изобрести двигатель внутреннего сгорания.

Токенное представление — это временный костыль, позволяющий скармливать машинам человеческую культуру (текст). Настоящий прорыв, который обрушит потребность ^[10] в гигантских дата-центрах и сделает сильный ИИ доступным на персональных устройствах, произойдет именно тогда, когда модели перейдут от обработки текста к манипуляции концептами.

Но монопольные американские корпорации и государство будут сопротивляться. Они вложили слишком много — и деньгами, и репутацией, и макроэкономической стабильностью, чтобы позволить этому случиться.

Первые результаты альтернативных подходов уже видны:

• VL-JEPA работает, используя на 50% меньше параметров

• Coconut превосходит Chain-of-Thought на логических задачах

• Mamba-3 обеспечивает линейное время инференса

История технологий показывает: как только появляется монополия на «тяжелое» железо и софт, всегда появляется волна оптимизации, которая делает технологии дешевыми, легкими и доступными каждому. Вопрос лишь в том, сколько времени это займет и какие препятствия будут созданы на этом пути.

Для России и других стран под санкциями это окно возможностей. Пока корпорации и государство США защищают свой пузырь, мы можем построить свою альтернативную экосистему — легкую, эффективную и независимую. И вопрос только — воспользуемся ли мы этим шансом?

На этом все, спасибо самым стойким, кто дочитал ) Как всегда, буду рад содержательным комментариям, замечаниям и идеям!