Alibaba запустила новую модель ИИ для 3D-видео

Alibaba Group Holding Ltd. запустила новую модель искусственного интеллекта ^[1], которую можно использовать для разработки игр и создания видеороликов, имитирующих реальный мир. Таким образом компания расширяет свой ассортимент продуктов, чтобы составить конкуренцию Tencent Holdings Ltd.  в стремлении монетизировать эту технологию.

Китайская компания, занимающаяся электронной коммерцией, в четверг представила Happy Oyster. https://www.happyoyster.cn/docs ^[2]

Happy Oyster — это продукт с открытой моделью мира для создания и взаимодействия с виртуальными мирами в режиме реального времени, создан на основе мультимодальной архитектуры, поддерживает мультимодальное понимание и совместную генерацию аудио- и видеоконтента.

В отличие от традиционных инструментов для создания видео с помощью искусственного интеллекта, которые работают по принципу «напиши запрос, дождись рендеринга, получи готовый ролик», Happy Oyster продолжает слушать и реагировать ^[3] на протяжении всего процесса генерации. Сцена реагирует в режиме реального времени и продолжает развиваться по мере того, как пользователь дает указания.

Возможности

Режиссура

Режиссура превращает пользователей в режиссеров в режиме реального времени, позволяя им воплощать идеи в жизнь в рамках бесконечно развивающегося видеопотока.

Happy Oyster генерирует не просто видеоряд, а динамичный физический мир, в котором освещение, гравитация, движение персонажей и причинно-следственные связи в сценах остаются непрерывными и согласованными во времени. Пользователи могут в любой момент вмешаться в этот мир, используя текст, голос или изображения, чтобы менять ракурс камеры, управлять персонажами или менять ход повествования. Мир мгновенно реагирует и продолжает развиваться в соответствии с этими указаниями.

Wandering

Wandering превращает пользователей в исследователей, позволяя им свободно перемещаться по бесконечно расширяющимся мирам.

С помощью одной строки текста или одного изображения пользователи могут создать полноценный физический мир, в котором расположение объектов остается неизменным, окружающая среда сохраняется во времени, а точка обзора и освещение непрерывно меняются в зависимости от движения. Пользователи могут перемещаться в пространстве от первого лица, свободно менять направление и положение камеры, а также выходить за пределы исходного кадра, при этом мир продолжает генерироваться и остается целостным.

Новая модель была разработана недавно созданным бизнес-подразделением Alibaba Token Hub, сообщила компания в посте на платформе X. На данный момент инструмент доступен только в ограниченном режиме раннего доступа, сообщили в Alibaba.

На прошлой неделе компания сообщила, что создала модель для генерации видео Happy Horse, которая произвела фурор в китайской индустрии искусственного интеллекта. Компания заявила о себе как о владельце платформы, которая с момента своего появления возглавила мировые рейтинги.

Модели мира призваны воссоздавать физические и пространственные свойства реального мира, закладывая основу для 3D-контента.

Они также используются для обучения ^[4] роботов и улучшения распознавания окружающей среды в беспилотных автомобилях. У Tencent есть собственная серия моделей мира Hunyuan3D с открытым исходным кодом, а Google от Alphabet Inc. использует модель Genie.