«Яндекс Браузер» научился передавать оригинальные голоса и интонации при переводе видео

«Яндекс Браузер» обновил перевод видео нового поколения. Теперь нейросети, которые задействуются в закадровом переводе, могут воспроизводить уникальные особенности голосов и интонации персонажей.

Теперь видео на английском языке, обработанные «Яндекс Браузером», звучат так, будто герои свободно говорят по-русски. ИИ-модель, которая применяется в «Браузере», анализирует английскую речь, определяет тембр, ритм и интонации, а затем переносит их в перевод.

«С переводом нового поколения пользователи теперь могут получать более яркие эмоции ^[1] от просмотра видео. Это особенно касается роликов, в которых важны особенности речи их участников: записей живых выступлений, скетчей, речей известных людей», — отмечают в компании.

Сообщается, что модель на основе YandexGPT, которая используется в переводе видео, была признана ^[2] лидером по качеству перевода с английского на русский язык по итогам международного независимого бенчмарка DiBiMT.

«Браузер» также повысил точность передачи смысла видео. Теперь он принимает во внимание ^[3] стилистические особенности речи, что делает перевод более органичным. 

Новый перевод доступен в «Браузере» при просмотре видео на YouTube, в поиске «Яндекса», на VK Видео, «Дзене» и Rutube. Его могут включить все пользователи, авторизовавшиеся в Браузере через Яндекс ID.