Команда разработчиков «Сбера» представила Kandinsky Avatar 1.0 — модель, которая принимает на вход изображение и запись речи, а на выходе выдаёт анимированного говорящего персонажа. Код и веса модели открыты и доступны по лицензии MIT.
Kandinsky Avatar синхронизирует движения губ с речью, добавляет мимику, жесты и повороты головы. Манеру речи и нужные эмоции можно задать в текстовом запросе. В качестве аватара можно использовать человека, героя мультфильма или животного. Модель обучали на базе Kandinsky 5.0 Video со 1,17 млн видеофрагментов с одним говорящим в кадре. В датасет вошли материалы на 95 языках.
Доступно две модели: Lite с 2 млрд параметрами для генерации SD‑видео и Pro с 21 млрд параметров для генерации HD‑видео. Запускать модели рекомендуют на видеокартах Nvidia с 48 ГБ памяти для SD и 80 ГБ для HD. При декодировании кадра по частям можно снизить пиковое потребление памяти до 28 ГБ, но в таком случае на видео могут проступать границы между участками.
Видеоаватары позволяют создавать учебные и рекламные ролики, видеоинструкции и персональные обращения к клиентам. Мы открываем модель, чтобы у российских разработчиков была собственная технологическая основа для таких решений. Её можно будет встраивать в свои продукты и дообучать под конкретные задачи, не создавая технологию с нуля. Обратная связь от сообщества поможет нам понять, как модель работает в разных сценариях и что необходимо улучшить. Этот опыт мы используем в следующих версиях Kandinsky и при внедрении видеоаватаров в сервисы «Сбера».
Денис Димитров, управляющий директор по исследованию данных Сбербанка
Kandinsky Avatar 1.0 Pro сравнили с ведущими открытыми и проприетарными моделями. Тест проводили вслепую — участники смотрели пары роликов, оценивали их по семи критериям и выбирали лучший, не зная, какая модель создала видео. Ролики Kandinsky Avatar 1.0 Pro выбирали чаще, чем видео каждого из конкурентов: в 63% случаев с Kling Avatar 2, в 60% — с LongCat‑Avatar-1.5 и в 54% — с HeyGen IV.
Код и веса моделей доступны для разработчиков бесплатно под открытой лицензией MIT на GitHub, GitVerse и Hugging Face. Моделью также можно будет воспользоваться в популярных инструментах для запуска и интеграции нейросетей — ComfyUI и Diffusers.
Автор: daniilshat
