Lucy 2.0 трансформирует видео на лету в 1080p и 30 к-с

Стартап Decart представил Lucy 2.0 – модель искусственного интеллекта ^[1], способную трансформировать живое видео в реальном времени, реагируя на текстовые промпты. Система работает с разрешением 1080p и частотой 30 к/с с практически нулевой задержкой, открывая двери для интерактивного изменения мира в кадре – от замены персонажей и окружения до точечного размещения продуктов.

Основа Lucy 2.0 – это чистая диффузионная модель, которая обходится без вспомогательных карт глубины или 3D-мешей. Ее понимание физики и структуры мира возникло исключительно из паттернов, выученных во время тренировки на видеоданных. Когда куртка расстегивается, а тарантул ползет по руке, модель корректно обрабатывает геометрию, соприкосновение и деформацию.

Одна из ключевых проблем в авторегрессионных видеомоделях – деградация качества со временем, “дрейф”. Команда Decart решила ее с помощью фирменного метода Smart History Augmentation. Во время обучения ^[2] модель знакомили с ее же неидеальными выходами и наказывали за отклонения, уча самостоятельно исправлять дрейф и возвращаться к стабильному состоянию. Это позволяет Lucy 2.0 работать стабильно часами, без коллапса идентичности или потери детализации.

Технология нацелена на широкий спектр применений: от развлечений и маркетинга (мгновенная замена одежды на моделях или фона в стриме) до серьезных задач в робототехнике и симуляциях, где требуется высококачественное и реалистичное дополнение реальности.

Lucy 2.0 доступна для тестирования в демо-версии на сайте lucy.decart.ai ^[3], а ее инфраструктурной основой выступают чипы AWS Trainium3.

Делегируйте часть рутинных задач вместе с BotHub! ^[4] Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке ^[5] вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!

Источники: 1 ^[6], 2 ^[7].