Глава Google DeepMind Демис Хассабис считает, что будущий AGI, скорее всего, не заменит нынешние большие языковые модели, а будет построен поверх них. В интервью подкасту 20VC он сказал, что главный вопрос не в том, исчезнут ли базовые модели, а в том, окажутся ли они всей системой общего ИИ или только ее ключевым компонентом.
Так Хассабис ответил на вопрос о “мире после LLM” и спор с позицией Яна ЛеКуна, который давно критикует языковые модели как недостаточный путь к человеческому уровню интеллекта. Глава DeepMind не согласился с тем, что нынешний класс моделей надо будет отбросить: по его словам, они уже показали слишком сильные результаты, а отдача от масштабирования все еще остается существенной.
При этом Хассабис не говорит, что путь к AGI уже полностью понятен. Он оценил вероятность того, что для общего ИИ понадобятся дополнительные прорывы, как “50 на 50”. Среди возможных недостающих элементов он отдельно упомянул модели мира (world models) — системы, которые помогают ИИ строить более устойчивое представление о среде, а не только предсказывать следующий фрагмент текста.
Он назвал и другие доработки, которые понадобятся текущим моделям. Это непрерывное обучение после основного обучения, более умная память вместо грубого длинного контекста, долгосрочное и иерархическое планирование, а также устойчивость к переформулировкам. Хассабис назвал современные системы “jagged intelligences” — неровным интеллектом: они могут впечатлять в одной задаче и проваливаться на похожей, если вопрос задан немного иначе.
В итоге позиция главы DeepMind оказывается промежуточной между двумя крайностями. Он не считает, что простое масштабирование языковых моделей автоматически решит все проблемы AGI. Но и тезис “LLM — тупик” он тоже отвергает: будущая система, по его версии, с большой вероятностью будет не заменой нынешних моделей, а надстройкой над ними — с памятью, обучением, планированием и моделями мира.
P.S. Поддержать меня можно подпиской на канал “сбежавшая нейросеть“, где я рассказываю про ИИ с творческой стороны.
Автор: runaway_llm
