Геймер построил языковую модель с 5 млн параметров в Minecraft

Ютубер sammyuri построил ^[1] в Minecraft большую языковую модель CarftGPT с 5 млн параметров. В конструкции используется более 438 млн блоков. Проект автор реализовал без модов и дата-паков. В основе только схемы из красного камня. 

Языковая модель получилась довольно скромной, если сравнивать с флагманскими решениями и даже нейросетями с открытым кодом. У модели всего 5 млн параметров, контекстное окно на 64 токена и словарь на 1920 слов. Нейросеть обучили на датасете TinyChat ^[2], который состоит из основных разговорных фраз на английском языке.

Модель работает очень медленно. В среднем на генерацию ответа уходит около двух часов. Это результат с увеличенным в 40 тыс. раз тиком сервера. Ускоряли с помощью Minecraft High Performance Redstone ^[3] (MCHPR). Если запускать в «ванильной» версии Minecraft, то генерация ответа может занять более 10 лет.

Кроме того, автор проекта отмечает, что модель часто генерирует низкокачественные ответы. Например, пишет слова с грамматическими ошибками, теряет тему диалога или просто выводит в чат мусор.

Для запуска игрового мира нужна машина с 32 ГБ оперативной памяти ^[4]. Этого хватит только для загрузки сервера. Для нормальной работы автор проекта рекомендует использовать не менее 64 ГБ ОЗУ. Инструкция по запуску, веса и код можно найти ^[5] в GitHub-репозитории.