«Люди не замечают постепенных улучшений»: ИИ не зашёл в тупик — вот почему

Мнения о будущем искусственного интеллекта ^[1] расходятся кардинально: одни уверены, что уже в ближайшие месяцы ИИ достигнет уровня AGI (общего искусственного интеллекта), другие — что генеративный ИИ обречён на провал. Пол Паллаги утверждает, что «o3 превосходит человека ^[2]», в то время как Уилл Локетт заявляет, что «ИИ окончательно зашёл в тупик ^[3]». Кто из них прав? Чтобы разобраться, необходимо внимательно рассмотреть аргументы обеих сторон.

В этом тексте я сосредоточусь на анализе доводов в пользу того, что «ИИ упёрся в стену». О том, почему идеи о сверхчеловеческих возможностях ИИ далеки от реальности, я уже писал в других статьях, например, в «„Человеческий уровень“ GPT-4 ^[4]».

Итак, разберём ключевые аргументы, утверждающие, что развитие ИИ достигло предела. В качестве примера рассмотрим публикацию на «Почему развитие ИИ натолкнётся на непреодолимые барьеры ^[5]» за авторством Жано ле Ру. Мне импонирует его подход: он не просто высказывает негативное мнение, а чётко формулирует тезисы и подкрепляет их фактами. Аргументы ле Ру сводятся к трём основным проблемам: нехватке данных, высокому энергопотреблению и ограничению масштабируемости. Я разберу каждую из них: сначала представлю позицию автора, а затем объясню, в чём её слабые стороны.

Проблема данных

Поскольку обучение ^[6] больших языковых моделей зависит от текстов, размещённых в интернете, спрос на новые, оригинальные данные неуклонно растёт. Однако этот ресурс постепенно истощается: объём «чистого» контента — того, который не был сгенерирован ИИ, — стремительно сокращается.

Сегодня практически весь доступный онлайн‑контент уже использовался для обучения моделей. К тому же многие издательства и медиакомпании выступают против бесконтрольного использования их материалов. Заключены некоторые соглашения, но они лишь удорожают доступ к данным. Качественные данные больше не являются ни массовыми, ни бесплатными.

Один из предложенных способов решения этой проблемы — использование искусственно созданных данных. Однако контент, сопоставимый с человеческим по качеству, пока так и не удалось воспроизвести. Лично я сомневаюсь, что синтетические тексты когда‑либо смогут в полной мере заменить живую человеческую речь.

Теперь у вас сложилось чёткое представление о том, как нехватка данных влияет на развитие ИИ.

Но чего не хватает в этом мрачном сценарии «информационной засухи»? Ответ тот же, что и в случае двух других аргументов: ле Ру исходит из предположения, что процесс обучения ИИ неизменен и не поддаётся значительным усовершенствованиям. Популярное мнение о том, что единственный способ улучшить ИИ — это скармливать ему всё больше данных, на самом деле не выдерживает критики.

Как верно заметил Сундар Пичаи, «самые лёгкие плоды уже сорваны» ^[7]. Это означает, что дальнейший прогресс зависит не столько от увеличения объёмов данных, сколько от технологических прорывов, новых подходов к обучению и оптимизации ресурсов.

Незаметный прогресс ИИ

Прошу вас не терять нить рассуждений — сейчас я подойду к сути своего аргумента.

Большинство людей просто не замечает небольших постепенных улучшений, которые со временем накапливаются и приводят к значительному прогрессу. Этот феномен настолько распространён, что его можно было бы назвать, скажем, «принципом Лавли» (чуть позже объясню почему).

Мы живём в эпоху броских заголовков: людей захватывают заявления вроде «ИИ вот‑вот достигнет AGI!», но не «Разработан 1,58-битный FLUX» — ведь второе просто непонятно. Вот, например, заголовок: «DeepSeek потряс индустрию ИИ». Звучит громко, но что именно изменилось? Какие конкретные технологии сделали китайскую модель такой «революционной»?

Гаррисон Лавли в Time отмечает ^[8], что «прогресс ИИ становится всё менее заметным», потому что общественности всё сложнее разбираться в технических нюансах. Улучшения становятся более сложными, требуют глубокого понимания, а описываются, как правило, в научных публикациях, которые почти никто не читает (благодарю Альберто Ромеро ^[9] за своевременный сигнал о статье).

И это вполне объяснимо: у нас всех не хватает времени, а у большинства — и мотивации ^[10] углубляться в технические работы. Но дело не в их недоступности: в сфере ИИ исследования традиционно публикуются в репозитории arXiv ^[11] Корнельского университета (а затем, возможно, и в научных журналах, хотя крупные компании редко выходят за рамки arXiv).

Так что восприятие ^[12] застоя в развитии ИИ — это лишь иллюзия. В действительности же научный ^[13] прогресс идёт полным ходом, просто большая часть прорывных идей остаётся в тени специализированных платформ вроде arXiv, не привлекая широкого внимания ^[14].

Прорывы в обработке данных

Недавние достижения в области оптимизации использования входных данных показывают, что можно повышать эффективность обучения ИИ без бесконечного наращивания объёмов информации. Приведу пару примеров:

• SwiftLearn (разработана исследователями Huawei) — методика, позволяющая ускорять обучение моделей глубокого обучения, используя лишь отобранную часть данных. Эти данные выбираются по критериям значимости, рассчитанным в ходе предварительного анализа всего набора. (Подробнее в статье на arXiv ^[15].)

• CLIP (разработка Катарского университета) — метод, позволяющий обучаться быстрее при меньшем количестве данных. Вместо того чтобы полностью перестраивать архитектуру моделей, исследователи сосредоточились на улучшении качества самих данных, что повышает эффективность обучения. (Исследование доступно здесь ^[16].)

Задумайтесь, слышали ли вы об этих работах? Думаю, нет. И в этом основная проблема, о которой я говорил выше: общественное восприятие ИИ необъективно. Люди просто не замечают постепенных усовершенствований, а потому игнорируют их вклад в развитие технологии.

Вывод прост: да, нехватка данных — это реальная проблема, но она решаема. Более эффективные алгоритмы уже разрабатываются и внедряются, просто широкая публика, как и ряд экспертов, остаётся в неведении.

Проблема энергопотребления

Ещё один распространённый аргумент в пользу того, что «ИИ упёрся в стену», — это колоссальное энергопотребление. Обучение и работа ИИ требуют огромных вычислительных мощностей, а значит, и невероятных затрат энергии, что делает этот процесс не только дорогим, но и экологически спорным.

Здесь можно выделить две ключевые проблемы: во‑первых, доступность и стоимость энергии, а во‑вторых, влияние ИИ на окружающую среду.

Обе проблемы серьёзны. Когда ChatGPT только появился, выяснилось, что один его запрос потребляет в десять раз больше энергии ^[17], чем обычный поиск в Google. В ответ на растущий спрос центры обработки данных начали переносить ближе к атомным электростанциям ^[18], чтобы решить вопрос энергоснабжения. Проблема действительно масштабная.

Очевидно одно: продолжать просто увеличивать энергопотребление бесконечно невозможно. Это тупиковый путь.

Технологии снижения энергопотребления

Но что нам говорят постепенные технологические улучшения? Если говорить об энергопотреблении, то существует множество исследований, направленных на снижение вычислительных затрат ИИ. А сокращение вычислительных затрат напрямую ведёт к снижению потребления энергии. Вот лишь несколько примеров передовых разработок, уменьшающих ресурсоёмкость ИИ:

• Исследователи Bytedance добились значительного сокращения размера и вычислительных требований для тексто‑графических LLM. Их система, показанная на графике ^[19], демонстрирует эффективность по сравнению с передовой технологией FLUX.

• Команда из Швейцарского федерального технологического института предложила новую вычислительную топологию HammingMesh, которая повышает эффективность работы ИИ. Они утверждают, что существующие сетевые архитектуры не адаптированы для ИИ‑задач, и предлагают более оптимальное решение. Подробнее — в исследовании ^[20].

• Стартап Liquid (от выходцев из MIT) разработал Liquid Engine ^[21] — платформу для создания эффективных фундаментальных моделей. Они заявляют, что их модели обладают высокой энерго‑ и памятоэффективностью.

• Исследовательская группа из Microsoft Research Asia разработала методы, позволяющие небольшим моделям эффективно решать математические задачи на уровне более крупных систем. Их прототип rStar‑Math ^[22] использует стиль рассуждений, схожий с OpenAI o1, но при этом значительно выигрывает в производительности.

Всё это доказывает, что мнение о том, будто развитие ИИ возможно только за счёт наращивания вычислительных мощностей и увеличения энергопотребления, попросту не соответствует реальности.

Проблема масштабируемости

Жано ле Ру называет «проблемой масштабируемости» рост количества параметров в языковых моделях, их общий размер и связанные с этим вычислительные затраты. Если бы единственным способом улучшения ИИ было механическое увеличение размеров моделей, это действительно стало бы тупиком; но такое предположение попросту ошибочно.

Приведённые выше примеры — исследования ByteDance, ETH, Microsoft Research Asia и Liquid — ясно показывают, что развитие идёт не только за счёт масштабирования, но и благодаря более эффективному использованию вычислительных мощностей и памяти ^[23]. Более того, в публичных рейтингах уже представлены высокопроизводительные модели LLM, которые демонстрируют отличные результаты при меньшем количестве параметров и сниженных вычислительных затратах. Однако некоторые критики предпочитают игнорировать этот факт ‑и это даже не учитывая ультраэффективный китайский DeepSeek.

А что насчёт DeepSeek?

Появление DeepSeek ^[24] на рынке прошло далеко не незаметно — оно буквально обрушило акции крупнейших ИИ‑компаний, вызвав панику, последствия которой ощущаются до сих пор. В отличие от других инноваций, о которых я упоминал ранее, DeepSeek не остался в тени — он мгновенно взлетел на первое место в App Store ^[25], набрав 2,6 миллиона загрузок, а также занял лидирующие позиции в Google Play. Но причина ажиотажа — не технологический прорыв или революционное открытие, а его влияние на фондовый рынок.

Главное, что поразило рынок, — не сама архитектура модели (детали которой нам, кстати, неизвестны), а невероятная экономичность её разработки. DeepSeek обошёлся в сотни раз дешевле по сравнению с созданием современных передовых LLM: его обучение стоило менее 6 миллионов долларов, потребовало в 8 раз меньше графических процессоров, чем принято в западных стандартах, и заняло меньше двух месяцев — против шести и более у других крупных моделей.

Появление DeepSeek вызвало не только финансовый шок, но и геополитические опасения: неужели Китай действительно опередил Запад? Отстаёт ли американский ИИ — разве именно он не должен быть самым передовым? Некоторые даже называют это событие «моментом Спутника» ^[26] — отсылкой к тому, как запуск советского спутника в 1957 году встряхнул США.

Но если говорить начистоту, нам почти ничего не известно о «секретном ингредиенте» DeepSeek. Архитектурно он схож с Llama*, использует обучение с подкреплением ^[27] — в общем, ничего радикально нового. Это скорее качественно собранная инженерная работа, чем технологическая революция. Китай располагает огромным пулом талантов: число их отличников сравнимо с общим числом студентов в США, и в подобных ситуациях это даёт о себе знать.

* Llama — проект Meta Platforms Inc., деятельность которой в России запрещена.