Разработчики из Tencent выпустили Hunyuan Portrait — нейросеть, которая анимирует портреты
Исследователи Университета Цинхуа, Гонконгского университета науки и технологий, Университет имени Сунь Ятсена и компании Tencent представили [1] Hunyuan Portrait — нейросеть, которая анимирует портреты людей. Модель справляется с задачей лучше конкурентов.
На вход нейросеть получает два файла: референсное изображение и видеоролик с лицом человека, которое изображает нужные эмоции [2]. При этом референсное изображение может быть как фотографией, так и рисунком. В основе Hunyuan Portrait используется диффузионная модель, которая анимирует изображение с учётом ролика с примером. На выходе пользователь получает видео.
Авторы проекта отмечают, что Hunyuan Portrait сохраняет черты лица человека и точно копирует эмоции [3]. В тестах нейросеть сравнили с TPSM, DaGAN, MCNET, MRFA, Live Portrait, FADM, AniPortrait и Follow Your Emoji. Альтернативные решения уступают по качеству и количеству деталей.
Примеры доступны [1] на сайте проекта, а более подробно о методе генерации рассказали [4] в тексте исследовательской работы. Код проекта пока не опубликовали. Разработчики отмечают, что код и веса модели появятся [5] на GitHub после ревью.
Автор: daniilshat
Источник [6]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/14481
URLs in this post:
[1] представили: https://kkakkkka.github.io/HunyuanPortrait/
[2] эмоции: http://www.braintools.ru/article/9540
[3] эмоции: http://www.braintools.ru/article/9387
[4] рассказали: https://arxiv.org/pdf/2503.18860
[5] появятся: https://github.com/kkakkkka/HunyuanPortrait?tab=readme-ov-file
[6] Источник: https://habr.com/ru/news/902980/?utm_source=habrahabr&utm_medium=rss&utm_campaign=902980
Нажмите здесь для печати.