«Сбер» открыл код и веса модели Kandinsky Avatar 1.0 для генерации анимированных аватаров

Команда разработчиков «Сбера» представила ^[1] Kandinsky Avatar 1.0 — модель, которая принимает на вход изображение и запись речи, а на выходе выдаёт анимированного говорящего персонажа. Код и веса модели открыты и доступны по лицензии MIT.

Kandinsky Avatar синхронизирует движения губ с речью, добавляет мимику, жесты и повороты головы. Манеру речи и нужные эмоции ^[2] можно задать в текстовом запросе. В качестве аватара можно использовать человека, героя мультфильма или животного. Модель обучали на базе Kandinsky 5.0 Video со 1,17 млн видеофрагментов с одним говорящим в кадре. В датасет вошли материалы на 95 языках. 

Доступно две модели: Lite с 2 млрд параметрами для генерации SD‑видео и Pro с 21 млрд параметров для генерации HD‑видео. Запускать модели рекомендуют на видеокартах Nvidia с 48 ГБ памяти ^[3] для SD и 80 ГБ для HD. При декодировании кадра по частям можно снизить пиковое потребление памяти до 28 ГБ, но в таком случае на видео могут проступать границы между участками.

Видеоаватары позволяют создавать учебные и рекламные ролики, видеоинструкции и персональные обращения к клиентам. Мы открываем модель, чтобы у российских разработчиков была собственная технологическая основа для таких решений. Её можно будет встраивать в свои продукты и дообучать под конкретные задачи, не создавая технологию с нуля. Обратная связь от сообщества поможет нам понять, как модель работает в разных сценариях и что необходимо улучшить. Этот опыт ^[4] мы используем в следующих версиях Kandinsky и при внедрении видеоаватаров в сервисы «Сбера».

Денис Димитров, управляющий директор по исследованию данных Сбербанка

Kandinsky Avatar 1.0 Pro сравнили с ведущими открытыми и проприетарными моделями. Тест проводили вслепую — участники смотрели пары роликов, оценивали их по семи критериям и выбирали лучший, не зная, какая модель создала видео. Ролики Kandinsky Avatar 1.0 Pro выбирали чаще, чем видео каждого из конкурентов: в 63% случаев с Kling Avatar 2, в 60% — с LongCat‑Avatar-1.5 и в 54% — с HeyGen IV.

Код и веса моделей доступны для разработчиков бесплатно под открытой лицензией MIT на GitHub ^[5], GitVerse ^[6] и Hugging Face ^[7]. Моделью также можно будет воспользоваться в популярных инструментах для запуска и интеграции нейросетей — ComfyUI и Diffusers.