Как мы выбирали шумоподавление для БОЛТУНа
Занялись шумоподавлением в БОЛТУНе. Хотелось убрать из разговора клавиатуру, фон и, если получится, чужие голоса рядом с микрофоном. При этом оставить в покое голос самого игрока и не отъесть у игры процессор.Сначала прошлись по основным подходам и инструментам: штатная обработка браузера, пороговые фильтры, SpeexDSP, RNNoise, DeepFilterNet, выделение голоса по образцу. Потом собрали стенды и начали проверять то, что подходило под нашу задачу. Попробовали нейросеть в браузере, вынесли её в нативный процесс, посмотрели на нагрузку от нескольких пользователей. А сейчас занимаемся более простой обработкой пауз.
Под капотом iZotope: что общего у Nectar, Neutron, Ozone и RX
На записи слышен короткий щелчок. Голос местами теряется за гитарой, а в следующей фразе оказывается слишком громким. После сведения песня звучит тише соседнего трека. Всё это проблемы одной записи, но исправлять их приходится на разных этапах: сначала убрать дефект, затем настроить дорожки и только после этого довести готовый микс.
Убрать оригинальную речь из старого закадрового перевода
Суть идеи в том, что я хотел получить очищенный русский перевод для фильмов, в которых изначально под озвучкой был слышен английский оригинал. При этом сохранить музыку, звуки и сам голос переводчика.Это мой давний закидон. Два голоса одновременно мне сильно мешают погрузиться в кино. Понимаю, что большинство людей это вообще не беспокоит, но я, к сожалению, не из них.
Как плеер угадывает тональность трека: 12 чисел и одна корреляция
Я делаю музыкальный плеер Nami. Он показывает у каждого трека тональность: «ми минор», «ре мажор». После поста про плеер в комментариях спросили, как это вообще считается. Вопрос звучал примерно так: у Прокофьева в мажорной тональности мажора на слух почти нет, так как программа решает?Короткий ответ: программа не слушает гармонию, как музыкант. Она считает, сколько в записи звучит каждой из 12 нот, и ищет мажорную или минорную гамму, на которую этот набор похож сильнее всего. Ниже я разберу, как это устроено, покажу картинки на реальных треках и расскажу, где метод ошибается.Шаг 1. Хромаграмма: сколько звучит каждой ноты
Музыка, которая ждёт игрока: превращаем любой mp3 в адаптивный игровой саундтрек
Я пять лет вожу настольные ролевые игры как мастер и думаю, что музыка это 50% эффекта погружения в процесс игры который работает в обе стороны.
Думал, Android пишет двигатель хуже iOS. Передумал. Потом оказалось, что прав, но по своему
ТезисноgetUserMedia({audio:true}) включает подавление шума, настроенное на речь; работающий двигатель для него тот шум, который надо вычесть(sic!). Выключил три флага — доля тишины в записях упала с 36% до 2%.На iOS та же правка сработала наоборот: выключение обработки роняет весь тракт на 18 дБ — сигнал, пик и уровень шума одинаково.Дело не в цене телефона и не в версии Android, а в модели устройства: разброс между 170 моделями от 0% до 100% тишины на одном и том же коде.Я делаю пет-проект
Пишем свой voice-to-text на Python: 4 бэкенда и батч-обработка голосовых
Каждый из нас хоть раз получал голосовое сообщение на 5 минут, которое проще было бы прочитать за 30 секунд. А если таких сообщений - целая папка? Я написал open-source инструмент voice-to-text, который умеет массово расшифровывать голосовые из Telegram, WhatsApp и других мессенджеров. В статье расскажу про архитектуру, подводные камни Whisper и сравнение четырех бэкендов транскрипции.Зачем это нужноУ проекта было три причины:1. Практическая потребность.
