Команда исследователей из Массачусетского технологического института представила PhysiOpt — нейросеть, которая дополняет генеративные 3D-модели физическим моделированием. Благодаря этому модели получаются не просто красивыми и необычными, а пригодными к использованию.
Авторы проекта отмечают, что современные нейросети для генерации 3D-моделей по текстовому описанию или изображению умеют быстро создавать эффектные модели, но очень редко учитывают условия эксплуатации. Если изготовить такой объект, например, распечатав на 3D-принтере, то у него может быть нестабильная геометрия, ломкие опоры или слабые крепления. В результате генеративные модели годятся для использования в играх и рендерах, но не в реальном производстве.
Для решения этой проблемы разработали PhysiOpt. Нейросеть работает в связке с генеративной моделью и получает на вход сгенерированный объекты и условия, в которых он будет использован, включая материал, предполагаемую нагрузку, тип крепления и другие данные. Нейросеть оптимизирует 3D-объект так, чтобы он сохранил исходный дизайн, но стал более устойчивым и прочным.
Одна из особенностей PhysiOpt в том, что система работает в латентном пространстве генеративной модели. Благодаря этому получается вносить более точные изменения, а не просто видоизменять меш. Кроме того, PhysiOpt работает в 10 раз быстрее DiffIPC — похожей нейросети для оптимизации сгенерированных 3D-объектов.
Код PhysiOpt открыт и опубликован на GitHub. Для запуска рекомендуют использовать GPU с 24 ГБ VRAM.
Автор: daniilshat
