Мгновенная 3D-реконструкция: Stability AI выпустила SPAR3D

Компания Stability AI представила SPAR3D – новую модель 3D-реконструкции, которая может создавать полноценные 3D-объекты из одного изображения менее чем за секунду.

На выставке CES компания Stability AI в сотрудничестве с Nvidia представила SPAR3D (Stable Point Aware 3D) – систему, разработанную для работы с видеокартами Nvidia RTX. Главное преимущество модели – скорость: она может практически мгновенно преобразовывать одно изображение в детализированный 3D-объект.

По словам Stability AI, SPAR3D обеспечивает высокий уровень контроля при создании 3D-объектов. Сгенерированное облако точек можно редактировать напрямую, удаляя, дублируя, растягивая, раскрашивая или добавляя новые элементы. SPAR3D также обеспечивает точную геометрию и детальные 360-градусные виды, включая обычно скрытые области.

Цифры впечатляют: всего за 0,3 секунды можно превратить облако точек в готовую сетку, а за 0,7 секунды – создать детальную 3D-модель по одному изображению. Такая скорость может облегчить жизнь разработчикам игр, дизайнерам продуктов и всем, кто работает над дизайном окружающей среды.

SPAR3D использует двухкомпонентную систему для создания 3D-моделей. Сначала специализированная модель точечной диффузии создаёт подробное облако точек, которое отражает базовую структуру объекта. Затем компонент под названием «триплоидный преобразователь» объединяет это облако точек с элементами исходного изображения, добавляя детали высокого разрешения для геометрии, текстуры и освещения.

Модель теперь доступна по общественной лицензии Stability AI, что делает её бесплатной как для личного, так и для коммерческого использования. Крупным организациям, зарабатывающим более миллиона долларов в год, необходимо связаться со Stability AI для получения корпоративной лицензии.

Время выхода этого релиза выбрано не случайно, поскольку Stability AI уже некоторое время занимается разработкой более эффективных 3D-моделей ^[1]. Их сотрудничество с Nvidia кажется естественным, особенно с учётом того, что в конце 2024 года Nvidia представила собственную систему преобразования текста в 3D — Edify 3D ^[2]. Они не единственные в этой сфере – Meta*, Midjourney ^[3] и Luma AI работают над аналогичными технологиями 3D-моделирования на основе AI.

*Meta и её продукты (Instagram, Facebook) запрещены на территории Российской Федерации.

Источник ^[4]