speech-to-text.

123 миллиона параметров и один микрофон. На что способна маленькая модель распознавания речи?

Представьте: вы запускаете программу, говорите несколько слов в микрофон, а на экране практически сразу появляется текст.Всё работает. Никаких серверов, отправки аудиозаписей в облако и ожидания ответа от удалённой модели.Но есть нюанс.Короткая демонстрационная фраза и десять минут непрерывной речи — совершенно разные задачи.Меня заинтересовал именно этот разрыв. Можно ли взять относительно небольшую модель распознавания речи, запустить её локально и получить систему, которая будет успевать обрабатывать живую речь?Для эксперимента выбрал Moonshine Voice.Лунный свет?

продолжить чтение

Голосовые в текст на одном ядре: GigaAM v3, нарезка по паузам и очередь по кругу

Голосовые и кружки в Telegram удобно записывать и неудобно получать. Встроенная расшифровка есть, но полноценно — только с Premium. Ботов для этого много, и почти у всех одна схема: несколько бесплатных минут, дальше подписка, реклама или «подпишись на четыре канала».Я сделал бота @chisto_text_bot

продолжить чтение

Сеня девелопер уходит → CNER Developer приходит: как мы дообучили GigaAM-v3

продолжить чтение

Открытые модели против облака: T-one, GigaAM или Deepgram: что реально тянет обычный CPU для живых субтитров в звонке

Число vCPU ничего не говорит: как я считал, нужен ли свой ASR-сервер вместо DeepgramМне понадобились живые субтитры для созвонов один на один на русском языке. Проще всего решить эту задачу через облачный API: буквально одним вызовом. Это удобный вариант, если разговоров немного, а их содержание можно передавать внешнему сервису.

продолжить чтение

Локальный анализ звонков без GPU. Что происходит на пути от аудио до резюме

Я хотел проверить не то, насколько хорошо локальная LLM пишет резюме на красивом тестовом диалоге, а что произойдет с ней на обычном телефонном звонке с музыкой, автоответчиком, перебиваниями и плохим звуком.Я сделал desktop приложение на Tauri, Rust, React и SQLite. Оно распознаёт речь, разделяет спикеров, считает тональность, эмоции и риски, а в конце локальная модель пишет резюме и рекомендации. Всё считается на компьютере, интернет нужен только чтобы скачать модели. При парсинге звонков часто бывают имена, адреса и номера договоров, и отправлять их во внешний API не хочется.

продолжить чтение

Как нейросеть переводит видео. Часть 1: Whisper врёт, и мы это знаем

Я делаю speeek.io, сервис дубляжа видео. Один. Код писал сам, с 2022 года, когда OpenAI выложил Whisper и я подумал: речь → текст → перевод → синтез → обратно на видео, делов-то. Делов оказалось на три года. В 2026-м через конвейер прошло 9 203 задачи, и он всё ещё ломается в тех же местах, что и в первый месяц. Просто теперь я знаю, в каких.

продолжить чтение

Whisper без облака: локальное распознавание чувствительных записей

продолжить чтение

Локальный ассистент для зумов, часть 3: кто это говорит — и почему я трижды ошибся, отвечая на этот вопрос

В конце второй части я пообещал честный замер новых локальных моделей распознавания. Обещание пришлось выполнять целый день, и результат оказался самым обидным из возможных: менять нечего. Ни модель, ни эмбеддер, ни алгоритм. А три дефекта, которые я за этот день торжественно нашёл, оказались дефектами не системы, а моего измерительного стенда.Эта часть — про диаризацию: как ассистент отвечает на вопрос «кто это сказал» и почему на рабочем созвоне этот вопрос сложнее, чем разобрать слова. Предыдущие части читать не обязательно: первая

продолжить чтение

Локальный ассистент для зумов, часть 2: как граф встреч становится памятью и почему ему можно верить

В первой части я собрал ассистента, который слушает созвон, различает голоса, пишет стенограмму и складывает встречу в граф знаний в Obsidian. Всё на своём Маке, ничего не уходит в облако. С тех пор прошло полтора месяца ежедневной работы, и оказалось, что записать встречу — это меньшая половина дела. Большая — сделать так, чтобы через месяц из этих записей можно было достать правду, а не то, что модель придумала по мотивам.

продолжить чтение

Голосовой ввод в любое окно Windows за секунду. Офлайн, на CPU, без единого гигабайта torch

Существующие решения для диктовки текста меня не устраивали по одной и той же причине: голос уходит на чужой сервер, а за это ещё и просят подписку. Wispr Flow, Blabby, встроенный Win+H — всё либо в облаке, либо работает так, что проще напечатать.Хотелось простого: нажал хоткей, сказал, нажал ещё раз — текст появился в том поле, где стоял курсор. Хоть в браузере, хоть в IDE, хоть в мессенджере. Локально. Бесплатно. Без прав администратора.Получился WhisperType — MIT, Windows 10/11 x64, ~250 МБ после установки плюс 1.6 ГБ модели. Актуальная версия — 1.3.1

продолжить чтение

123