Droplet3D: новая модель для генерации 3D-объектов из видео
Исследователи из Университета Цинхуа представили обучения [1]. Такой подход позволяет извлекать пространственную согласованность и семантику объектов напрямую из видеоданных, что обеспечивает более высокое качество и разнообразие создаваемых моделей.
Для обучения команда собрала масштабный датасет Droplet3D-4M, включающий 4 миллиона 3D-объектов с детализированными текстовыми описаниями. На его основе была дополнительно обучена видео-диффузионная модель DropletVideo.
Система способна по текстовому запросу или изображению генерировать последовательные многовидовые рендеры — как отдельных объектов, так и целых сцен. Важный момент: код, датасет [2]и веса [3]модели уже есть в открытом доступе под лицензией Apache 2.0.
Делегируйте часть рутинных задач вместе с [4]BotHub [5]! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке [6] вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Автор: cognitronn
Источник [7]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/19021
URLs in this post:
[1] обучения: http://www.braintools.ru/article/5125
[2] датасет : https://huggingface.co/datasets/DropletX/Droplet3D-4M
[3] веса : https://huggingface.co/DropletX/Droplet3D-5B
[4] : https://bothub.chat/?utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_source=contentmarketing&utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_medium=habr&utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_campaign=news&utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_content=GEMINI%20ON%20CHATGPT%27S%20HEELS:%20THE%20LATEST%20AI%20RANKING%20FROM%20ANDREESSEN%20HOROWITZ
[5] BotHub: https://bothub.chat/?utm%5C%5C%5C%5C%5C_source=contentmarketing&utm%5C%5C%5C%5C%5C_medium=habr&utm%5C%5C%5C%5C%5C_campaign=news&utm%5C%5C%5C%5C%5C_content=DROPLET3D:%20NEW%20MODEL%20FOR%20GENERATING%203D%20OBJECTS%20FROM%20VIDEO
[6] По ссылке: https://bothub.chat/?invitedBy=m%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_aGCkuyTgqllHCK0dUc7
[7] Источник: https://habr.com/ru/companies/bothub/news/943076/?utm_source=habrahabr&utm_medium=rss&utm_campaign=943076
Нажмите здесь для печати.