Harmony бьет конкурентов: Новый фреймворк генерирует идеально синхронное видео и звук

Исследователи из Shanghai Jiao Tong University и Tencent Hunyuan представили Harmony – фреймворк для генерации синхронизированного аудиовизуального контента.

В отличие от существующих опенсорс-моделей, которые часто допускают ошибки ^[1] в синхронизации видео и звука, разработчикам Harmony удалось выявить и решить эти проблемы. Фреймворк успешно справляется с генерацией как для английской и китайской речи, так и для окружающих звуков.

По качеству генерации и точности синхронизации Harmony значительно опережает такие методы, как JavisDiT, Ovi и UniVerse-1. Особенно разрыв заметен в нереалистичных сценах: где другие модели часто выдают статичное видео, Harmony создаёт динамичный и идеально синхронизированный контент.

Делегируйте часть рутинных задач вместе с BotHub ^[2]! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке ^[3] вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!

Источник ^[4]