Как нейросеть переводит видео. Часть 2: русский длиннее не текстом, а звуком
Я делаю speeek.io, сервис дубляжа видео, один. В первой части был вход конвейера: как звук становится текстом с таймкодами и что Whisper с этим текстом вытворяет. Эта про середину: перевод и укладку перевода в тайминг оригинала.Середина — самое больное место всего проекта. Распознавание я более-менее победил, синтез покупаю готовый. А вот что делать с русской фразой, которая не лезет в секунды английской, я до сих пор не уверен. В конце будет эксперимент, после которого стало немного понятнее.
Как нейросеть переводит видео. Часть 1: Whisper врёт, и мы это знаем
Я делаю speeek.io, сервис дубляжа видео. Один. Код писал сам, с 2022 года, когда OpenAI выложил Whisper и я подумал: речь → текст → перевод → синтез → обратно на видео, делов-то. Делов оказалось на три года. В 2026-м через конвейер прошло 9 203 задачи, и он всё ещё ломается в тех же местах, что и в первый месяц. Просто теперь я знаю, в каких.
Как утки с СДВГ довели меня до опенсорса: зачем я собрал утилиту для перевода коротких видео на домашней видеокарте
Dub Studio - локальная утилита для перевода коротких роликов. Та самая утка тоже тут.
Как мы научились сохранять тембр и интонацию спикера при переводе видео в Яндекс Браузере
Осенью 2021 года мы впервые представили
