Вышла Ultra3D — нейросеть для генерации высокодетализированных 3D-моделей

Исследователи из Китая представили ^[1] Ultra3D — нейросеть для генерации высокодетализированных 3D-моделей. На вход нейросеть получает изображение, а на выходе выдаёт готовую 3D-модель с возможностью экспорта в нескольких форматах.

Авторы проекта отмечают, что последние исследования в области воксельных представлений помогли значительно улучшить качество генерации 3D-контента. Существующие решения могут создавать модели с высоким разрешением и мелкозернистой геометрией. При этом платформы страдают от серьёзной вычислительной неэффективности.

В качестве альтернативы исследователи разработали Ultra3D — платформу, которая генерирует 3D-модели быстрее и без ущерба качеству. В основе проекта лежит компактное представление VecSet, которое создаёт грубый макет будущей модели. После этого работу перехватывает система Part Attention. Она локально улучшает отдельные фрагменты с учётом общей геометрии.

Это позволило ускорить генерацию почти в семь раз. Также на выходе у фигур получается больше деталей. Ultra3D может генерировать модели с разрешением до 1024 пикселей и применять текстуры.

Протестировать Ultra3D можно на портале Hitem3D ^[2]. При регистрации выдают 100 токенов. Одна обычная генерация обходится в 10 токенов, а генерация с текстурами — в 20.