Речевые технологии лежат в основе целого класса продуктов: от голосовых ассистентов и расшифровщиков аудио до сервисов озвучки контента. На курсе «Аудиоанализ, распознавание и генерация речи» от Яндекс Практикума PRO освоите инженерную базу для работы с ними — создадите собственный сервис и научитесь обучать и дообучать речевые модели под конкретные задачи.
Курс подойдёт инженерам машинного обучения и тем, кто уже знаком с обработкой естественного языка (NLP).
Что освоите
-
Работу со звуком. Научитесь превращать аудиосигнал в числовые представления — спектрограммы и частотные признаки — и строить на их основе классификаторы.
-
Распознавание речи. Пройдёте путь от классических архитектур до современных трансформерных моделей — Whisper и других. Научитесь настраивать декодирование и оценивать качество.
-
Дообучение под свои задачи. Разберётесь, как адаптировать большие речевые модели — HuBERT и другие — под конкретный домен и данные.
-
Синтез речи. Соберёте конвейер для обработки аудио. Поработаете с акустической моделью FastSpeech и нейросетевым вокодером HiFi-GAN, научитесь управлять характеристиками голоса.
-
Оптимизацию и выполнение модели на новых данных (инференс). Экспортируете всё в компактный формат ONNX, ускорите работу на видеокарте и соберёте готовый сервис.
Два уровня погружения — под разные цели
-
Базовый тариф рассчитан на три месяца — освоите стек для обработки аудиоданных, положите четыре проекта в портфолио. Поможет разобраться в технологии и забрать навыки в работу.
-
Расширенный тариф длится пять месяцев — добавите восемь проектов и глубоко изучите обработку естественного языка (NLP): языковые модели, работу с текстом и интеграцию с речевыми системами. Поможет сменить специализацию и закрепиться в роли.
Как устроено обучение
Нагрузка — около 10 часов в неделю, учёба разбита на спринты. В каждом есть теория и работа над проектами на облачных машинах с графическими процессорами (GPU).
Учиться можно в любое время, главное — успевать к срокам сдачи, чтобы получить обратную связь от опытных инженеров. Если поймёте, что нужен свой темп, — можно перейти на трек без дедлайнов.
Ближайший старт — 27 августа и 24 сентября. А бесплатный первый модуль можно пройти уже сейчас — освежите базу по нейросетям и посмотрите, как устроена платформа, прежде чем нырять в основное обучение.
Автор: kris-up
