NVIDIA рассказала о четырёх специализированных моделях Cosmos 3, предназначенных для создания синтетических данных и интерактивных сред. Две из них работают со сценами вождения и показаниями автомобильных сенсоров, ещё две — с визуальными наблюдениями для роботов. Все четыре получили открытые веса.
Подробный материал компании вышел 5 ноября. При этом в карточках моделей датой выпуска указано 20 октября 2026 года. Новинки созданы путём дообучения Cosmos 3 Nano и, по данным NVIDIA, содержат по 16 млрд обучаемых параметров. Они распространяются по лицензии OpenMDW1.1, допускающей коммерческое и некоммерческое использование при соблюдении её условий.
Задача этих моделей — помочь разработчикам исследовать, как автономная система ведёт себя при изменении окружающей среды. Для этого недостаточно сгенерировать правдоподобный ролик: изображение должно соответствовать действиям системы управления, а данные разных сенсоров — согласовываться между собой. Например, автомобиль должен получать совместимые наблюдения от камер и LiDAR, когда меняются дорожная обстановка, освещение или положение других машин.
Две модели для автономного вождения
Cosmos3-Nano-Transfer-Auto предназначена для подготовки синтетических данных заранее, в пакетном режиме. Она генерирует синхронизированное видео с числом ракурсов до 11, включая камеры с объективами «рыбий глаз», и поддерживает совместную генерацию изображений и данных LiDAR.
Структуру дорожной сцены задают управляющие представления World Scenario Map, или WSM. Они описывают разметку, светофоры, знаки и положение объектов. Текстовый запрос отвечает за внешний вид: погоду, освещение и время суток. Благодаря такому разделению один сценарий можно воспроизводить в разных условиях, расширяя набор данных для обучения и оценки системы вождения.
Transfer-Auto также служит отправной точкой для адаптации к конкретному автомобилю. Разработчики могут дообучить модель на своих данных, учитывая расположение камер, конфигурацию LiDAR и особенности среды.
Cosmos3-Nano-Sim-Auto решает следующую задачу — генерирует наблюдения по мере развития симуляции. Это потоковый вариант Transfer-Auto, полученный с помощью каузальной дистилляции. Модель создаёт короткие фрагменты синхронизированного видео и данных LiDAR, опираясь на уже сгенерированную историю и новые управляющие сигналы.
Такой режим позволяет организовать замкнутый цикл: система управления получает наблюдения, выбирает действие, после чего среда формирует следующие данные с учётом этого действия. Для работы нужны среда выполнения симуляции и рендерер WSM, который преобразует команды в обновлённое описание сцены. Производительность зависит от оборудования и настроек генерации.
Как модели работают с роботами
Cosmos3-Nano-Sim-Transfer подключается к физическому симулятору и превращает его выходные данные в фотореалистичное видео. В качестве управляющих сигналов используются карты глубины, маски сегментации, контуры объектов или размытые изображения. Текстовый запрос позволяет задать оформление сцены.
Роли компонентов здесь разделены: движение, столкновения и физическое состояние рассчитывает симулятор, а нейросеть формирует цветное изображение на основе его данных. Система управления роботом получает эти кадры и выбирает следующее действие. Такой подход позволяет менять визуальные условия, сохраняя физическую основу эксперимента.
Cosmos3-Nano-Sim-Bimanual предсказывает изменения сцены непосредственно по действиям робота или движениям камеры. Модель поддерживает симуляцию двух манипуляторов для платформ YAM и AgiBot. Команды может передавать алгоритм управления или человек с джойстиком.
Для начала достаточно исходного изображения и подготовленных управляющих данных. Затем модель генерирует следующие наблюдения, учитывая движения манипуляторов, состояние захватов и изменение ракурса. В рамках одной последовательности можно чередовать перемещения камеры и действия робота.
С управлением изображением через текст можно экспериментировать и на более привычных задачах. В SpeShu.AI доступны нейросети для генерации и редактирования изображений: можно подготовить иллюстрацию робота, изменить фон или уточнить оформление сцены. Это позволяет проверить, насколько точно модель следует описанию и сохраняет нужные детали при правках. В симуляциях Cosmos 3 к этому добавляется связь изображения с состоянием среды и действиями системы управления.
Почему важна генерация короткими фрагментами
Потоковые варианты Cosmos 3 строят видео последовательно. Каждый новый фрагмент зависит от доступной истории, текстового описания и управляющих сигналов. Каузальный механизм внимания ограничивает доступ к будущим целевым наблюдениям, а кэширование позволяет повторно использовать часть уже рассчитанной информации.
Короткие фрагменты дают возможность чаще учитывать новые команды. Однако у такого подхода есть сложность: ошибочно сгенерированный объект попадает в историю и может повлиять на следующие кадры. Поэтому для интерактивной симуляции важна устойчивость всей последовательности.
В опубликованной схеме обучения NVIDIA предусмотрела четыре этапа. Сначала модель адаптируют к предметной области на полных видеозаписях, затем обучают предсказывать фрагменты по предыдущим реальным наблюдениям. После этого дистилляция сокращает генерацию каждого фрагмента до четырёх шагов шумоподавления. На заключительном этапе, self-forcing, модель обучается на собственной сгенерированной истории, чтобы учитывать условия, с которыми столкнётся при использовании.
Что доступно разработчикам
Веса опубликованы в коллекции NVIDIA на Hugging Face. Компания также предоставила примеры запуска и инструкции по дообучению в Cosmos Framework. Они позволяют адаптировать модели к другим конфигурациям сенсоров, роботам и средам.
Для описанного NVIDIA запуска Sim-Bimanual через vLLM-Omni нужны Linux, GPU NVIDIA, Docker и NVIDIA Container Toolkit. Компания проверяла эту конфигурацию на одном GB200. Это описание тестового оборудования, а не универсальное требование к минимальному объёму видеопамяти.
Практическая ценность релиза — в возможности экспериментировать с генерацией наблюдений и адаптировать модели под собственные задачи. При этом реалистичность видео сама по себе не подтверждает пригодность симуляции для обучения робота или проверки беспилотного автомобиля. NVIDIA отмечает, что исследователям ещё предстоит оценить достоверность таких сред и разобраться в их ограничениях. Качество дообучения компания рекомендует проверять на отложенных эпизодах: успешный запуск кода ещё не означает, что модель научилась решать нужную задачу.
В блоге Спешу АИ мы разбираем новые нейросети и сценарии их применения. Подписывайтесь, чтобы следить за развитием ИИ — от работы с текстами и изображениями до моделей, которые помогают исследовать физический мир.
Автор: RAGnul
