Что изменилось за год
В первой статье мы рассказывали, как собрали локального голосового ассистента: wake word, VOSK, собственная модель эмбеддингов, поиск по сходству и Piper для ответов. Модель училась на командах конкретного дома и понимала не только «включи свет на кухне», но и «тут что-то жарковато». Все работало без облака, на Orange Pi 5 Pro. За год ассистент переехал на контроллер, который управляет домом.
А распознавать команды оказалось мало. Представим обычную фразу:
Бари, включи свет.
Какой свет, в какой комнате? А если через пять секунд добавить «ярче» — это про что? И зачем дому вообще ждать команд, если у него десятки датчиков и он и так знает, что происходит внутри?
Поэтому вокруг распознавания мы достроили остальное. Теперь BARY знает, в какой комнате его позвали, принимает команды из Telegram и по HTTP, разговаривает через локальную LLM и ищет в доме странности.
Дом получил уши: микрофон из комментариев
Самым больным местом первой статьи были микрофоны: планшеты в стенах, ESP32-S3-BOX и дешевые массивы работали нестабильно. В комментариях посоветовали Seeed ReSpeaker USB Mic Array v2.0. Заказали, проверили — он оказался заметно лучше всего, что мы пробовали до этого.
Но одного микрофона на весь дом недостаточно: у меня четыре уровня — два этажа, подвал и мансарда, — и из дальней комнаты до него не докричишься. Поэтому ReSpeaker можно подключить по USB прямо к контроллеру или поставить в комнате удаленную точку на Raspberry Pi 3B+. Точка сама распознает речь через VOSK и отправляет на контроллер уже текст, варианты распознавания с оценкой уверенности и событие wake word. Для сравнения или подстраховки она может прислать и WAV — его разберет GigaAM за 240–370 мс. Таких точек может быть до четырех. Сейчас в тестах работает одна, а в готовящемся проекте будут все четыре, по одной на комнату. Каждая — это короб с Raspberry Pi 3 и ReSpeaker, усилитель и внешний динамик.
Заодно микрофон подсказывает, где прозвучала команда: для каждой точки я указываю помещение.
Если сказать на кухне:
Бари, включи свет.
то включится свет на кухне — команду услышал кухонный микрофон.
Полное название устройства проговаривать не нужно. В квартире на пять устройств это мелочь, а у меня их 49 в 18 помещениях.
Кольцо на ReSpeaker показывает, что происходит. Тускло-красное — ждет wake word, синее — слушает, зеленое — выполнил, красное — ошибка, желтое — идет разговор с LLM. Если сказать только «Бари», ассистент не выполняет пустую команду, а ждет следующей фразы.
В комментариях к первой статье спрашивали, как мы обучали wake word. Долго никак: VOSK распознавал речь целиком, а ассистент искал в тексте «Бари» или «Барри». Теперь у «Бари» есть своя модель на OpenWakeWord. Пока она обкатывается на одной точке: на Raspberry Pi с ReSpeaker ее еще не переносили.
Работает она так. Звук превращается в мел-спектрограмму — она показывает, как меняется энергия на разных частотах с поправкой на то, как их воспринимает человеческое ухо. Нейросеть переводит спектрограмму в последовательность векторов, а классификатор смотрит сразу на несколько последних векторов и выдает оценку принадлежности звука к заданному классу — число от 0 до 1. В потоке оценка обновляется каждые 80 мс, и модель учитывает предыдущие кадры. Обучаем мы только классификатор, нейросеть для векторов берем готовую.
Для обучения модели мы сделали небольшую админку. Записи в ней собираются по сессиям: сессия — это отдельный голос или отдельные условия, например «мой голос, тихо». Нажимаешь запись, говоришь, потом выделяешь на графике фрагмент и помечаешь: это «Бари», похожее слово или просто шум. Таких фрагментов нужно около сотни, к ним добавляются шумы из набора самой OpenWakeWord.
Обучение запускается там же, и готовую модель админка сама проверяет на контрольных словах. Потом можно включить прослушивание эфира и говорить: если модель ошибается, такие записи сразу уходят в дообучение. Ложные срабатывания я ловил телевизором: включал его и ждал. Все, на что модель реагировала, отправлялось в список игнорируемых. Слабое место пока одно: в наборе почти только мой голос, и на жену с ребенком модель не срабатывает. Нужно больше разных голосов.
Как не утонуть в 16 тысячах команд
В первой версии каждое сочетание действия, устройства, помещения и параметров было отдельной фразой в датасете — отсюда и 16 тысяч команд. Теперь модель многоголовая: одна голова определяет действие, другая — устройство, третья — помещение, отдельные выходы отвечают за значение и задержку. «Выключи свет в кабинете через пять минут» превращается в:
{"domain": "smart_home", "action": "turn_off", "device": "light", "room": "Кабинет", "delay": "5m"}
В модели около 6 млн параметров (в первой версии было около 5 млн), а словарь — 603 токена.
Сначала ассистент решает, к чему относится фраза: к дому, музыке, покупкам или загрузкам. Иначе в «скачай сериал „Дом дракона“» он зацепится за слово «дом», а в «добавь молоко» будет искать устройство. Вопросы тоже идут отдельно: «какая температура в кабинете?» ничего не переключит, ассистент просто прочитает датчик.
Работает все это теперь на Wiren Board 8. Он и так управляет датчиками и реле. На нем же крутятся и сервер BARY, и весь ассистент: VOSK и GigaAM, модель эмбеддингов, маршрутизация, контекст, расширения, аналитика и Piper. С Orange Pi ассистент переехал целиком, на отдельном ноутбуке с видеокартой осталась только LLM. Реле нейросеть при этом не дергает: она разбирает фразу и отдает BARY готовую команду. А выключатель на стене работает и без ассистента.
Контроллер — Wiren Board 8.5.1 на Allwinner T507 с 4 ГБ памяти. В одном из замеров сервер BARY занимал 275 МБ, плагин ассистента — 182 МБ, ML-сервис — 377 МБ, VOSK — 233 МБ, Piper — 283 МБ. Всего около 1,35 ГБ, хотя простое сложение RSS дает лишь грубую оценку.
Заводить устройства для ассистента не нужно: он берет те, что уже есть в BARY, вместе с помещением, типом и возможностями. Появился на кухне диммируемый светильник — значит, ему нужны «включи», «выключи» и «сделай ярче». Команды строятся сами.
Только домочадцы устройства называют иначе: вместо «Телевизор гостиная» — «телек» или вообще «ящик». Для этого у устройства есть синонимы, они тоже попадают в команды.
Переобучать модель после каждого синонима не нужно: обучение и индексация — разные операции. При индексации веса модели не меняются, ассистент только собирает актуальный набор команд и пересчитывает их эмбеддинги. Добавил лампу — индекс досчитывается только для новых команд. Даже полный пересчет после обучения занимает 9,4 секунды. Заново обучать модель нужно, когда изменений накопилось много или новые слова распознаются плохо.
Обучение идет прямо на контроллере, в фоне, около 47 минут — как мы этого добились, расскажем ниже. Пока новая модель учится, ассистент работает на старой и переключается, только когда новая обучена и проверена.
Каждая голосовая команда попадает в события BARY: что распознал VOSK, что нашел ассистент, выполнилась ли команда, кого определил Voice ID. Нераспознанные фразы уходят в датасет, и ассистент учится тому, как с домом говорят на самом деле, а не как придумал разработчик.
Обучение прямо на контроллере
Первая попытка обучить модель на Wiren Board 8 с 4 ГБ памяти закончилась тем, что контроллер ушел в swap и перестал отвечать. Казалось, что для обучения он просто слабоват. Замеры показали, что память съедает не сама модель, а все, что вокруг нее.
DataLoader из PyTorch запускал два рабочих процесса, и каждый получал свою копию части данных и библиотек. А параллельно ассистент мог пересчитывать индекс команд. Тяжелые операции накладывались друг на друга, и память заканчивалась.
Что поменяли:
-
на контроллерах меньше чем с 6 ГБ данные загружает один процесс (num_workers=0), без копий;
-
обучение и пересчет индекса больше не идут одновременно;
-
монитор памяти считает не только основной процесс, но и все дочерние;
-
если MemAvailable держится ниже 128 МБ три проверки подряд (проверка — раз в пять секунд), обучение останавливается и сохраняет промежуточный результат;
-
старая модель работает, пока новая не обучится и не пройдет проверку.
Модель, датасет и размер батча при этом не трогали. Полный цикл — 20 эпох по 64 примера в батче — занял около 47 минут. Тренер использовал не больше 1,47 ГБ, свободной памяти ни разу не оставалось меньше 799 МБ. После обучения новая модель загрузилась сама и за 9 секунд построила индекс команд.
Данные делятся на обучающую и проверочную выборки, в последнем запуске — 343 и 35 примеров. Сохраняется вариант модели с минимальной ошибкой на проверке, лучший получился на третьей эпохе. Перед переключением ассистент проверяет, что новая модель загрузилась и индекс перестроился. Отдельного порога точности на независимой выборке пока нет.
Железо мощнее не понадобилось: хватило найти, куда уходит память.
LLM отдельно, свет отдельно
В комментариях к первой статье предлагали гибрид: векторный поиск для команд, а что не нашлось — в локальную LLM. Примерно так и вышло. Отдать LLM вообще все технически можно, но ставить генеративную модель между фразой «включи свет» и реле мы не хотим. К тому же на NPU Orange Pi LLM отвечала на запросы умного дома слишком долго.
Светом, климатом и шторами контроллер управляет сам, без LLM. Распознанную фразу он разбирает за 30–70 мс. Ответ на короткую голосовую команду приходит примерно через 600 мс, но 500 из них ассистент намеренно ждет, пока фраза распознается до конца. LLM нужна только для свободного текста.
Получается так:
включи свет → модель команд → устройство
почему зимой воздух в доме суше? → LLM → Telegram или Piper
Для этого есть интеграция с Ollama. У меня она работает на ноутбуке ASUS TUF Dash F15 с RTX 3070 Laptop на 8 ГБ, модель — qwen3:8b. В отдельных тестах ответ генерировался около 12 секунд. Выключил ноутбук — пропал только разговор, а свет и отопление работают как раньше.
Разговор включается фразой:
Бари, давай поговорим.
Или «поболтаем». Кольцо на ReSpeaker при этом становится желтым. У разговора есть память — сообщения сессии, краткое резюме и факты о пользователе, — поэтому он не начинается каждый раз с нуля, но и из дома никуда не уходит. LLM умеет отвечать и голосом, но синтез речи долго был слабым местом. Piper звучит плохо, Silero получше, но тоже не то, так что озвучку я в итоге отдал умной колонке. А с LLM все равно проще переписываться в Telegram, контекст диалога сохраняется и там.
Если вопрос про сам BARY — «как добавить Modbus-устройство?» — ассистент сначала находит ответ во встроенной документации и подкладывает его LLM. Модель не вспоминает документацию по памяти, а читает актуальную.
Ollama можно поставить и на сервер в интернете, но тогда разговор перестанет быть локальным.
Еще LLM разбирает нераспознанные фразы и предлагает, к какой команде их отнести. Так готовится датасет для следующего обучения.
Не только реле
Часть команд к устройствам вообще не относится. Такие возможности подключаются расширениями BARY: каждое описывает свои действия и фразы, а работу делает плагин. Свой домен технически тоже можно добавить, но публичного интерфейса для этого пока нет.
-
Музыка: пауза, следующий трек, громкость, плейлист. «Сделай потише» относится к музыке, а не к первому попавшемуся устройству с громкостью. Пока она встроена в сам ассистент, в расширение ее еще не вынесли.
-
Покупки: «надо купить батарейки» или «занеси корм для кота в список». Заранее заводить товар в каталог не нужно.
-
Загрузки: найти фильм или сериал и поставить на закачку, проверить новые серии, спросить, что сейчас качается.
-
Справка: по подключенным возможностям, по документации и даже по самому дому — инструкция собирается из его текущей конфигурации.
-
Погода: «какая погода сегодня?» или «а завтра?».
-
Камеры: на 3D-плане дома в браузере можно сказать «покажи камеру гаража», и откроется ее картинка.
-
Пиксельная панель Pixoo: по кругу показывает загрузку процессора и свободное место на дисках, а по команде «покажи …» — нужный экран.
Одна точка входа
Микрофон теперь только один из входов. Голос, текст по HTTP, WAV-файл, текстовые и голосовые сообщения в Telegram идут через один Command API. «Включи свет в кабинете» из Telegram и с микрофона отличается только транспортом, логика в боте не дублируется. Для отладки у API есть режим проверки: команда распознается, но ничего не включается. Запрос в таком режиме выглядит так:
curl -X POST http://<WB8_IP>:8003/execute
-H 'Content-Type: application/json'
-H 'Authorization: Bearer <TOKEN>'
-d '{
"text": "включи рабочий свет",
"user_id": "article-demo",
"source_id": "article-demo",
"disable_device_actions": true
}'
Сокращенный ответ:
{
"recognition_result": {
"ok": true,
"should_execute": true,
"should_schedule": false
},
"execution": {
"requested": true,
"dispatched": true,
"devices": 1,
"action_result": {
"type": "smart_home",
"ok": true,
"dry_run": true,
"action_skipped": true,
"reason": "device_actions_disabled"
}
}
}
Telegram, понятно, уже не локальный: сообщения идут через серверы мессенджера.
Короткий контекст остался с первой версии: секунд 20 после «Бари, включи свет на кухне» можно сказать просто «ярче» или «выключи». Теперь у каждого клиента он свой: у микрофона один, у Telegram другой.
От выполнения команд к анализу дома
За годы работы автоматики в доме накапливается куча данных: значения температуры и влажности, состояние систем, положения контактов реле, ошибки, срабатывания датчиков движения… Смотрим мы их обычно задним числом: что-то сломалось — открываем графики и события и ищем, когда все началось. А хочется узнавать раньше.
В контуре отопления у меня стоит датчик давления. Обычно там 1,6–1,8 бар. В августе 2025 года давление начало расти и к концу сентября подобралось к 2,5 бара. Я это заметил, но значения не придал.
Позже выяснилось, что в бойлере прохудился змеевик, и вода из водопровода попала в систему отопления.
Вдобавок подвал затопило дважды. Сначала из-за гидроаккумулятора, потом из-за предохранительного клапана электрокотла. Пришлось в спешке покупать бойлер, неделю сидеть без горячей воды, платить сантехнику двойной тариф за срочный вызов, а заодно менять гидроаккумулятор.
А ведь аварии можно было предотвратить: все данные у BARY были, не хватало только аналитики. Я начал делать ее как раз после всего этого.
Когда модуль аналитики был готов, я прогнал его по истории датчика. Он нашел восемь точек, где давление резко менялось, и первая из них — 10 августа, за два месяца до аварии.
Умный дом для меня — не тот, которому надо расписать «если датчик A в состоянии X дольше Y секунд, а реле B выключено, выполни C». А тот, который сам скажет: «Последние две недели здесь что-то не так» или «Ты каждый раз делаешь одно и то же после этого события. Может, автоматизировать?» При этом сам вмешиваться в работу отопления он не будет. Аналитика предлагает, а решает человек.
Так в BARY появился модуль Predictive Analytics. Начали мы не с предсказаний, а с простого: собрать разрозненные состояния и события и объяснить, на что смотреть. Модуль проверяет:
-
связь: недоступные устройства, частые переподключения, давно не обновлявшиеся данные;
-
обслуживание: севшие батарейки, невыключенный свет, вентилятор, который работает слишком долго;
-
воздух: CO₂ и влажность вне нормы, а заодно неменяющаяся или нереальная температура — чтобы заметить зависший датчик;
-
автоматизации: человек сразу выключил то, что включила автоматика, или регулярно включает свет руками там, где есть датчик движения.
LLM здесь не участвует. Вопросы к аналитике добавлены в общий набор команд и распознаются так же быстро, как «включи свет».
В первой статье мы обещали такой сценарий: в комнате есть датчик движения и реле, но правила нет, и свет каждый вечер включают руками через пару секунд после срабатывания датчика. Теперь аналитика это замечает и предлагает правило. У меня она нашла такое в постирочной: из 149 включений света 60 были ручными. Причина простая: Zigbee-датчик движения там срабатывает с задержкой, и его просто не дожидаются. Два новых WB-MSW v.4 на замену уже лежат в коробке, но руки не дошли их поставить.
Из того, что модуль уже находил у меня дома: забытый свет и периодические скачки CO₂. А еще он предложил несколько новых автоматизаций.
Спрашивать можно по-простому: «что не так дома?», «что отвалилось?», «какие устройства не отвечают?»
Что пока не получилось: Voice ID
Голосовой профиль записать просто: говоришь «Бари, запомни меня» и три фразы. Дальше Voice ID пытается определить, кто говорит, но пока делает это ненадежно. Поэтому функция остается экспериментальной. Персонализация из первой статьи («кому +22 °C, а кому +25 °C») тоже ждет: все упирается в микрофоны, акустику комнат и модели голоса. Не каждую функцию стоит называть готовой только потому, что для нее написан код и появилась страница настроек.
Что получилось
В первой статье вопрос был такой: можно ли сделать локального ассистента, который понимает не только заученные фразы. Можно.
За год основной контур переехал на Wiren Board 8. Команды приходят с микрофонов, из Telegram и по HTTP. Музыка, покупки и загрузки подключаются расширениями, а аналитика отвечает на «что не так дома?». LLM осталась необязательной: выключишь ноутбук — дом не заметит. Принимать решения за меня BARY не будет, да я и не хочу. Мне интереснее, чтобы он знал, где его позвали, что было до этого и что вообще творится в доме. Это полезнее, чем прикрутить к выключателю еще одну большую языковую модель.
Кто добился надежной идентификации по голосу на дальнем микрофоне — расскажите в комментариях, как. Для нас это сейчас главный нерешенный вопрос.
Как попробовать
Публичного стенда пока нет. Ассистент — отдельный платный модуль BARY за 2990 ₽ в год, код у него закрыт. Читателям Хабра мы даем три месяца бесплатно: установите BARY и пришлите ID контроллера на sales@bary.io с пометкой «с Хабра» — мы пропишем лицензию. Бесплатная версия самого BARY поддерживает до 25 устройств. На Wiren Board он ставится командой из официальной инструкции:
wget -qO- "http://bary.io/setup?directory=/mnt/data/srv&target=wb" | bash
После этого модуль ассистента устанавливается из каталога обновлений и добавляется в настройках голосовых ассистентов.
Python-зависимостям нужно больше гигабайта, а системный раздел Wiren Board 8 по умолчанию — 2 ГБ, и места может не хватить. С релиза wb-2609 раздел можно расширить почти на всю память контроллера по инструкции. Лучше сделать это сразу.
Автор: augap
- Запись добавлена: 19.11.2026 в 07:00
- Оставлено в
Советуем прочесть:
«Ксеноморфный софт, который вырос у меня дома». Колонка Сергея Рыжикова 22.10.2026 Представляем вам колонку, написанную Сооснователем компании Битрикс24 Сергеем Рыжиковым. Почти…В Японии создают «дома‑роботы» с полной автоматизацией 23.09.2026 В Японии состоялась первая публичная демонстрация «MW bot», интегрированного в систему дома.…
Чат на сайте не должен врать: почему наш ассистент иногда честно отвечает «точного ответа нет» 22.10.2026 Представьте: посетитель интернет-магазина спрашивает в чате, сколько дней на возврат.…
Локальный ассистент для зумов, часть 2: как граф встреч становится памятью и почему ему можно верить 05.09.2026 В первой части я собрал ассистента, который слушает созвон, различает…
Локальный агент для кода на Mac: MTPLX + pi + Qwen3.8–27B. Что реально ускоряет, а что нет 24.09.2026 Я хотел, чтобы кодовый агент работал целиком на ноутбуке, без облака: локальная…
От Minisforum до серверной стойки за 100 000 рублей. Что стало с моим Homelab спустя 3 года 04.11.2026 Больше 2 лет назад я написал свою первую статью про…
Локальный ассистент для зумов, часть 10: NLI — три места, куда я его примерял, и два, откуда ушёл 10.10.2026 Бюджет на квартал согласован и бюджет на квартал не согласован.…
Ассистент Встреч своими руками: анонимный Chrome в контейнере, календарь через EWS и две тысячи встреч в проде 06.11.2026 Как я сделал бота, который сам приходит на встречи в…
Локальный ассистент для зумов, часть 4: что происходит после кнопки Стоп — и почему вторая модель говорила в… 12.09.2026 В первой части ассистент записывал созвон и складывал его в…
Антиспам бот TAB полгода спустя: новый сайт, инструкция и личный кабинет 04.11.2026 логоПривет, Хабр!В апреле я рассказывал, как написал антиспам-бота для Telegram…


