Умеют ли нейросети создавать игры?

Сделать игру — это не просто заставить код выполняться. Нужны понятная механика, приятная картинка, плавная анимация и стабильные 60 FPS. Большие языковые модели уверенно решают алгоритмические задачи, но в оценках их кода редко учитывают играбельность и эстетику. Авторы V-GameGym предлагают восполнить этот пробел: они собрали реалистичный бенчмарк для визуальной генерации игр на Python с Pygame и показали, как объективно измерять качество такой работы.

Что именно придумали

V-GameGym — это 2 219 тщательно выверенных игровых примеров, распределённых по 100 тематическим кластерам и собранных из 2 190 реальных репозиториев. Каждый пример — это пара “требование на естественном языке — эталонный код”, который гарантированно запускается и генерирует визуальные артефакты: скриншоты и видео короткого демо. Поверх этого действует мультимодальная оценка: проверяется не только код, но и то, что видит игрок.

Как собрали набор

Исходные проекты взяли из OpenCoder и The Stack v2 и отфильтровали по использованию Pygame. Чтобы избежать однообразия, авторы описали каждую программу векторами признаков (структура, API, длина, частоты паттернов) и провели кластеризацию MiniBatchKMeans. Из каждого кластера выбирали наиболее “полный” по структуре образец. Так добились и разнообразия, и высокой запускаемости.

Затем вступил автоматизированный LLM-пайплайн. Он анализировал намерение исходной игры, добавлял автономное поведение ^[1] (демо фиксированной длительности без клавиатуры), проверял запуск в песочнице, исправлял сбои по логам и формировал понятные требования как будто от продукт-менеджера. После этого восемь аспирантов просмотрели код и визуальные результаты в UI-песочнице и утвердили финальный набор.

Как оценивают модели

Система измеряет три модальности и усредняет их в один балл:

• код: функциональность, качество и техника реализации;

• скриншоты: полнота интерфейса и визуальная готовность;

• видео: анимация, динамика, целостность геймплея.

Для автоматического судейства использованы две сильные модели: Qwen3-Coder-480B-A35B-Instruct оценивает код, Qwen2.5-VL-72B — визуальные артефакты. В итоге можно присвоить игре категорию от Poor до Excellent и получить честный индикатор играбельности, а не только синтаксиса.

Что показали эксперименты

Авторы протестировали 70 моделей — от открытых до коммерческих. Картина получилась показательной.

• Лидируют закрытые решения: лучший итоговый балл — 45.0 (GPT-5). Среди открытых выше всех — гиганты уровня 400B+, такие как Qwen3-Coder-480B и DeepSeek-V3.

• Разрыв между кодом и картинкой ощутим: оценка кода часто 70+, а вот скриншоты и видео — ниже 25. Модели уверенно пишут работающий Pygame, но слабее передают эстетику и динамику.

• Масштаб помогает, но не решает всё: наблюдается логарифмический рост числа решённых игр с числом параметров модели; архитектура и обучение ^[2] вносят заметный вклад.

• Длинный хвост сложности: большинство задач остаются на уровнях Fair и Poor, а Excellent — редкость. Игра — это интеграция логики, графики и времени, и здесь модели часто спотыкаются.

Почему это важно

V-GameGym возвращает оценку кодогенерации к реальности. В играх важны не только функции и классы, но и темп, отклик, читаемость экрана. Новый бенчмарк учит модели отвечать за полный опыт ^[3]: от структуры проекта до кадров на экране.

Это создаёт пространство для исследований в трёх направлениях:

• планирование и модель мира для сцены и правил;

• графика и анимация, согласованные с игровой логикой ^[4];

• производительность и стабильность кадров в ограниченной среде.

Плюс появляется честная метрика прогресса — лидерборд, где видно, кому удаются динамичные сцены, а кому — аккуратный код.

Где узкие места

Набор заточен под Pygame: сложные 3D‑миры и специализированные движки пока вне охвата. Автономные демо не заменяют живого игрока. Оценка LLM‑судьями, хоть и надёжная, может иметь смещения; авторы борются с этим валидацией, ретраями и ручной проверкой.

Тем не менее инфраструктура стабильна: 100% запусков эталонов, видео покрывают все примеры, на каждую игру — десять скриншотов.

Авторы видят перспективы в мультимодальном обучении, где модели одновременно планируют механику, рисуют ассеты, подбирают ритм и регулируют FPS. Здесь помогут мультиагентные системы в роли дизайнера, программиста и тестировщика, генерация ассетов на лету и обучение по человеческим сессиям. И, конечно, расширение набора за рамки Pygame.

Итог

V-GameGym аккуратно закрывает разрыв между точностью кода и качеством игрового опыта. Теперь у нас есть масштабный, разнообразный и воспроизводимый способ проверять, умеют ли LLM не только писать программы, но и создавать игры, в которые хочется играть.

📜 Полная статья ^[5]

***

Если вам интересна тема ИИ,  ^[6]подписывайтесь на мой Telegram‑канал ^[7] — там я регулярно делюсь инсайтами по внедрению ИИ в бизнес, запуску ИИ-стартапов и объясняю, как работают все эти ИИ-чудеса.