В феврале 2025 года команда VK Видео в 10 раз увеличила количество роликов с субтитрами и точность расшифровки речи. Теперь субтитры есть в 90% контента — со знаками препинания, заглавными буквами и всеми особенностями специализированной лексики и неологизмов.
В этой статье расскажем, как перестраивали систему, оптимизировали архитектуру ML-модели, и поделимся результатами, которые помогли улучшить пользовательский опыт и сделать контент доступнее для миллионов зрителей.
Где мои субтитры, чувак?
По данным исследования компании Verizon Media, 85% пользователей социальных сетей смотрят ролики на мобильных устройствах с выключенным звуком. Среди причин — нет наушников, шумно или, наоборот, пользователь находится в месте, где шуметь нельзя. Исследование также показало:
-
80% зрителей с большей вероятностью досмотрят видео, если оно будет с субтитрами;
-
субтитры в роликах побуждают 37% зрителей включить звук;
-
субтитры помогают 27% зрителей сосредоточиться на контенте;
-
субтитры помогают 29% зрителей лучше понять, что происходит на видео.
Команда VK Видео провела собственное исследование по методологии KANO и выяснила, что субтитры входят в топ-10 важных для пользователей фич — они заняли шестое место.
Субтитры — это инструмент, который существенно улучшает пользовательский опыт. Они помогают любому зрителю понять даже без звука, о чём видео. И что ещё важно, увеличивают цифровую доступность для людей с особенностями слуха.
В 2024 году автоматические субтитры были у 9% видео на платформе. Чтобы увеличить покрытие субтитрами в 10 раз, нужно было проанализировать и технически доработать ролики, которые ранее не попадали под автоматизацию по разным причинам — из-за хронометража или типа загрузки (например, со сторонних площадок).
Ниже подробно расскажем о том, как измеряли качество субтитров, выполняли задачу и достигали поставленной цели.
Как измерять качество субтитров
Мы используем два метода оценки качества субтитров:
-
Пользовательская оценка качества. Для этого привлекаются асессоры — пользователи. Им показывают видео и предлагают выбрать, какой из вариантов текста лучше подходит для субтитров.
-
Лабораторная оценка WER. Она проводится на основе набора расшифрованных человеком видео, где качество субтитров оценивается по строгим критериям.
WER (Word Error Rate) — это показатель, который измеряет количество ошибок в распознавании текста. Ошибки бывают трёх типов:
-
неправильное распознавание слова (например, вместо «привет» распозналось «медвед»);
-
потеря слова (например, «привет, как дела» распозналось как «как дела»);
-
лишнее слово (например, «привет, как дела» распозналось как «привет, как у тебя дела»).
Чтобы рассчитать WER, количество ошибок делится на общее число слов в эталонном тексте (референсе). Полученная цифра — это процент ошибок, которые допускаются во время распознавания.
На изображении видно, что текст одного и того же ролика алгоритмы VK Видео распознали лучше, чем на сторонней площадке.
Ограничения и технические уловки
Распознавание речи — это непросто: сначала нужно «вытащить» текст из звука, а потом расставить временные метки для каждого слова. Процесс был медленным, особенно для длинных видео. Чтобы оптимизировать ресурсы, мы использовали технические уловки:
-
Если модель генерации недостаточно уверена в распознавании, временные метки не проставлялись и субтитры не создавались.
-
Видео длительностью более пяти часов не обрабатывались, чтобы не перегружать видеокарты.
-
Обрабатывались только видео с большим числом просмотров, так как в VK Видео много UGC-контента, которому не нужны субтитры.
Благодаря ML-моделям мы ускорили распознавание речи в несколько раз — сейчас на платформе субтитрами покрыты как новые, так и старые видео, как длинные ролики, так и короткие.
На схеме ниже видно, какие задачи решала команда на пути к цели:
ML-модели и как их использовали
Старая модель генерации субтитров требовала значительных доработок. Нужно было:
-
оптимизировать архитектуру модели;
-
улучшить разметки данных;
-
поработать с редкими словами;
-
решить проблему именованных сущностей.
О каждом этапе расскажем подробнее.
Оптимизация архитектуры модели
Мы полностью переработали архитектуру — основывались на Conformer RNN-T с позиционными эмбеддингами RoPE. Чтобы её масштабировать, потребовалось увеличить параметры и ускорить интерфейс модели.
Для этого наша ML-команда:
-
перенесла весь препроцессинг данных на GPU;
-
внедрила эффективную групповую обработку;
-
перевела вычисления в FP16;
-
использовала CUDA Graphs в авторегрессионном декодере, чтобы минимизировать задержки.
Улучшение разметки данных
Наша команда улучшила отбор обучающих данных, чтобы повысить информативность дата-центра: новый алгоритм автоматически фильтрует 10% самых сложных примеров для модели распознавания речи (ASR). Это экономит ресурс крауд-разметки — количество данных, которое можно разместить за единицу времени, ограничено. Поэтому мы выбрали примеры, которые максимально влияют на качество распознавания во время обучения модели.
Работа с редкими словами
Совершенствуя модель ASR, мы заметили, что иногда она распознаёт гипотезу корректно, но не выбирает её в качестве финального ответа — отдаёт предпочтение другой, ошибочной.
Такое происходило с редкими словами (например, «ацетилсалициловая» или «исподтишка»). Для обработки низкочастотных слов мы внедрили статистическую языковую модель, обученную на корпусе редких и сложных слов. Финальный вывод формируется с помощью shallow fusion между ASR и моделью. Этот подход позволяет проранжировать корректно распознанные гипотезы и вытащить их наверх. Его большое преимущество — необходимо обучить лишь языковую модель, и это менее трудозатратно, чем обучить ASR.
Решение проблемы именованных сущностей
Чтобы обучить большую модель, нужно много размеченных данных и много асессоров — а это стоит дорого. Мы задумались, получится ли использовать open-source решения, чтобы автоматически размечать обучающие данные нашей модели.
Возникла идея дистиллировать знания из открытых моделей: они знакомы с большими объёмами данных, значит, потенциально могут распознавать имена, термины, названия локаций, организаций и брендов. Позже выяснилось, что в среднем у open-source решений довольно низкая метрика качества (порядка 20% WER) на наших бенчмарках. Мы применили эвристики, внутренние нейросетевые решения и смогли выделить смысловые поддомены, на которых автоматическая разметка открытыми моделями показала высокое качество (менее 10% WER).
В итоге нам удалось достичь таких показателей:
Финишная прямая
Далее мы добавили модель денормализации текста и расстановки пунктуации, которая делает текст более естественным и удобным для чтения. Теперь аудиопоток из видео проходит несколько этапов обработки:
-
разделяет аудио на окошки длиной до 11 секунд;
-
препроцессирует аудио в мел-спектрограммы;
-
распознаёт текст из аудио;
-
корректирует гипотезы с помощью языковой модели;
-
синхронизирует текст со звуком;
-
денормализирует текст и пунктуацию.
Процесс представлен на схеме ниже:
Исходя из результатов тестирования, в рамках которого мы сравнивали расшифровку одинакового контента, размещённого на разных видеоплатформах, выяснилось, что наша AI-модель допускает на 30% ошибок меньше, чем аналогичные модели генерации субтитров. Конечно, на этом мы останавливаться не собираемся — наша команда продолжит развивать технологии, делая просмотр роликов в VK Видео ещё более понятным, доступным и удобным для всех наших пользователей.
Мы всегда находимся в поиске талантливых специалистов — если вас тоже драйвят масштабные вызовы и их нестандартные решения, приглашаем присоединиться к нашей команде, будем пилить крутые фичи вместе.
Ссылки по теме:
-
Новость: VK Видео улучшает пользовательский опыт с помощью умных субтитров.
-
Исследование Verizon Media: Mobile Videos Often Watched Without Audio, Study Finds.
Автор: VK_Team_Habr
