Как мы воевали с ударениями в русской TTS-озвучке: гейт перед синтезом, текстовые подмены и открытые вопросы. python.. python. Звук.. python. Звук. искусственный интеллект.. python. Звук. искусственный интеллект. озвучивание.. python. Звук. искусственный интеллект. озвучивание. озвучка игр.. python. Звук. искусственный интеллект. озвучивание. озвучка игр. Разработка игр.. python. Звук. искусственный интеллект. озвучивание. озвучка игр. Разработка игр. распознавание речи.

Делаю «Канал 15» — рацию-компаньон для Euro Truck Simulator 2: восемнадцать выдуманных дальнобойщиков болтают в эфире у игрока, отвечают на голос и запоминают его между рейсами. К озвучке у нас три движка: ElevenLabs (eleven_v3), OpenAI-совместимый gpt-audio через OpenRouter и локальный клон на XTTS. Пул текстов — порядка четырёх тысяч реплик, и почти сразу выяснилось, что все три движка по-разному, но уверенно ставят русские ударения не туда. Ночное приветствие «гудни» читалось как «гУдни» — как команда, «йогУрты», «кОзел» вместо, ну вы поняли, клички и позывные вроде «михалЫч» и «биби, кни» ломались каждый по-своему. Здесь — что я построил, где уперся в стену и что так и осталось открытым вопросом.

Шаг 1. Проверка ударений до синтеза, а не после

Переозвучка стоит денег (платные движки считают символы, локальный — часы GPU-времени), поэтому «сгенерируем и послушаем» как стратегия не проходит. Сначала нужен детектор проблемных слов в тексте реплики. Остановился на ruaccent (1.5.8.3) с моделью omograph turbo2: библиотека расставляет ударения по контексту и отдаёт текст с маркером + перед ударной гласной.

Поверх — проектный словарь stress_dict.json: слово с эталонным ударением, IPA-транскрипция, источник и опциональный xtts_override — эмпирическую форму под наш клон. Сейчас там 41 слово, и половина — клички, позывные и жаргон, которых ни в одном словаре нет.

Ключевое решение — это гейт, а не линтер. Неподтверждённое срабатывание (слово без ударения от модели и не в словаре, либо жаргон вне словаря) останавливает генерацию до траты символов. Обход существует, но только явным флагом --stress-ok, и факт обхода печатается в лог:

bad = [(w, p, r) for w, p, r, ok in sc.check_line(text) if not ok]
if bad:
    for w, p, r in bad:
        print(f"   УДАРЕНИЕ? {w} → {p or '???'} ({r}) | {text[:70]}")
    raise SystemExit("stress_check: неподтверждённые флаги — правьте stress_dict.json "
                     "или запустите с --stress-ok (фиксируется в выводе)")

Отдельная тонкость — ложные срабатывания. Модель turbo2 не ставит + на части коротких слов в контексте («или», «когда», «что-то»), и это не риск для синтеза, а особенность модели. Для таких слов сделан «вайтлист пропусков», который пополняется прогонами: если слово в одиночную прогонку получает ударение, а в контексте его нет, флаг игнорируется.

Прогон всего эфира: 4280 строк, 41 подтверждённый флаг (все — по словарю), 0 неподтверждённых. Девственно чисто, но это заслуга словаря, а не модели.

Шаг 2. Словари произношения ElevenLabs оказались закрыты

Логичный путь для eleven_v3 — pronunciation dictionaries: загружаешь словарь с phoneme/alias-тегами, модель произносит как скажешь. Не вышло: на нашем тарифе (creator) endpoint словарей отвечает HTTP 401 Ручной тест 16.11, результат зафиксирован комментарием прямо в коде генератора. На более дорогих тарифах, судя по доке, словари доступны, но проект бесплатный и платить за озвучку выдуманных мужиков столько не готов.

Отдельно проверили SSML: по официальной доке ElevenLabs модели Eleven v3 и v4 SSML не поддерживают вообще, вместо разметки у них свои аудио-теги [whispers], [sighs] и т.п. Есть упоминание, что v3 вроде бы ест IPA-транскрипцию, но там же честно написано «not 100% consistent» — то есть контроль качества всё равно нужен, и я его описали в шаге 1.

Шаг 3. Рабочий обход: подмена текста перед синтезом

То, что реально работает у всех трёх движков, — фонетическая подмена только в тексте, который уходит в синтез. Отображаемые тексты, субтитры и хэши-сигнатуры (по ним решаем, что переозвучивать) не трогаю — иначе любая правка словаря пересобирала бы весь эфир.

Приём простой: ударную гласную удваиваем. «гудни» → «гуднии», «километр» → «киломеетр». Слух модели принимает удвоенную гласную как сигнал «ударение сюда», а в отображаемом тексте игрок видит нормальное слово. Словарь подмен строится из того же stress_dict.json, есть отдельные эмпирические формы, которые лучше слышит наш клон:

for e in json.loads((ROOT / "phrases" / "stress_dict.json").read_text(encoding="utf-8")):
    if e.get("xtts_override"):
        m[e["word"]] = e["xtts_override"]   # форма, которую лучше слышит наш клон
        continue
    s = e["stressed"]
    for i, ch in enumerate(s):
        if ch in "АЕЁИОУЫЭЮЯ":
            m[e["word"]] = (s[:i] + ch.lower() * 2 + s[i + 1:]).lower()
            break

Подмена — регэкспом по собранной таблице, идемпотентно, регистронезависимо:

XTTS_STRESS_RX = _re_mod.compile("|".join(XTTS_STRESS), _re_mod.IGNORECASE)
return XTTS_STRESS_RX.sub(lambda m: XTTS_STRESS[m.group(0).lower()], text)

Понимаю, что это латание на уровне «работает — не трогай». Плюс один: один и тот же словарь обслуживает три разных движка. Минус: подмена меняет акустику слова, и иногда слышно лёгкое «завывание» на удвоенной гласной, особенно у XTTS на длинных словах.

Шаг 4. Точечная переозвучка вместо полной

Раз тексты и сигнатуры разделены, переозвучка стала дешёвой: снимаем подпись нужных реплик в манифестах эфира, пересинтезируем только их, расход символов считаем до запуска. Контроль качества — faster-whisper (small, CPU, int8): распознаём результат и сравниваем с эталоном через difflib.SequenceMatcher, порог приёмки 0.95, всё что ниже 0.85 — «послушать ухом». В Whisper-контроле, правда, есть слепая зона: он русскоязычный, поэтому реплики на других языках идут одним дублем без проверки, а там, где whisper в ветке не подключён, остаётся только слушать самому.

Открытые вопросы

Именно за этим пост и пишу. Ударения в русской речи на закрытых TTS — вечная боль, но у сообщества наверняка накопился арсенал получше нашего:

  1. Кто-нибудь заставил eleven_v3 стабильно произносить нетривиальные ударения без словарей и подмен? IPA-теги реально работают в проде или «not 100% consistent» означает «не работает»?

  2. Морфологическая разметка перед синтезом — делают ли её серьёзно: pymorphy3 → словарная форма → ударение из словаря → возврат флексии с сохранённым ударением? Есть ли готовая связка, или все всё равно хардкодят подмены?

  3. Наш гейт — проприетарный словарь на 41 слово. Есть ли открытый словарь русских «ударенческих исключений» (слова вроде «йогурт», «договор», «красивее»), который не стыдно подключить как зависимость?

  4. Альтернатива в лоб: гнать весь вход через ruaccent заранее и хардкодить подмены для всех слов, где модель расставляет + не так, как мы слышим. Это масштабируется лучше ручного словаря, но утонет в ложных срабатываниях или жить можно?

Буду благодарен за опыт, ссылки и особенно за примеры «у нас работает так».

Автор: Jeleziaka

Источник