Демис Хассабис считает игры одним из лучших тестов для ИИ

В разговоре с Логаном Килпатриком глава Google DeepMind Демис Хассабис заявил ^[1], что считает игры одним из самых перспективных бенчмарков для ИИ. Хассабис отметил, что многие существующие тесты, вроде SAT (стандартизированный тест для поступления в колледжи), GRE (тест для аспирантуры) и MMLU (многоуровневый тест на понимание языка), уже почти “пройдены” ИИ. При этом современные модели показывают “неровный интеллект”: получают золотые медали на Международной математической олимпиаде (IMO), но совершают элементарные ошибки ^[2] в простых логических задачах или специально сформулированных играх. Это указывает на отсутствие у моделей ключевых навыков, таких как рассуждение, планирование и память ^[3], которые необходимы для достижения настоящего общего искусственного интеллекта ^[4].

Чтобы понять, почему так происходит, нужны новые тесты, которые будут охватывать не только интеллектуальные задачи, но и аспекты реального мира. По мнению Хассабиса, игры – отличная среда для таких тестов. Они дают четкие правила, объективные цели и понятный результат: победа или поражение.

Именно с этой целью Google совместно с Kaggle запустила Game Arena – арену, где модели ведущих разработчиков состязаются в разных играх. Первой игрой стали шахматы: в финале GPT o3 победила Grok 4. Хассабис надеется, что в будущем на арене появятся тысячи игр.

Хассабис отмечает, что подобные тесты уникальны – ведь каждый раунд создается с нуля двумя играющими моделями. Кроме того, сложность тестов будет повышаться параллельно тому, как будут расти характеристики ИИ. Хассабис рассчитывает, что в какой-то момент модели даже начнут создавать новые игры друг для друга.

P.S. Поддержать меня можно подпиской на канал “сбежавшая нейросеть ^[5]“, где я рассказываю про ИИ с творческой стороны.