Nvidia хочет создать универсального ИИ-агента с помощью NitroGen

Компания Nvidia выпустила новую модель для ИИ-агентов, ориентированных на игры. NitroGen – это модель обработки действий на основе OpenVision, обученная на 40 000 часах видеозаписей игрового процесса из более чем 1000 игр. Исследователи использовали ранее игнорируемый ресурс: видео с YouTube и Twitch с видимыми наложениями контроллера. Используя сопоставление шаблонов и доработанную модель SegFormer ^[1], они извлекли ввод игрока непосредственно из этих записей.

NitroGen основан на модели Nvidia GR00T ^[2] N1.5. По словам исследователей, это первая модель, демонстрирующая, что базовые модели робототехники могут работать как универсальные агенты в виртуальных средах с различными физическими движками и визуальными стилями. Модель обрабатывает различные жанры – экшен-RPG, платформеры, roguelike-игры и многое другое. При использовании в незнакомых играх она демонстрирует до 52 процентов более высокую вероятность успеха, чем модели, обученные с нуля.

Команда, в состав которой входят исследователи из Nvidia, Стэнфорда, Калифорнийского технологического института и других университетов, сделала набор данных ^[3], веса модели ^[4], статью ^[5] и код ^[6] общедоступными.

Делегируйте часть рутинных задач вместе с BotHub! ^[7] Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке ^[8] вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!

Источник ^[9]