Еще одна звонилка или как я создал Nimbo. C++.. C++. Nimbo.. C++. Nimbo. Open source.. C++. Nimbo. Open source. self-hosted.. C++. Nimbo. Open source. self-hosted. vue.. C++. Nimbo. Open source. self-hosted. vue. голосовой чат.. C++. Nimbo. Open source. self-hosted. vue. голосовой чат. искусственный интеллект.. C++. Nimbo. Open source. self-hosted. vue. голосовой чат. искусственный интеллект. Мессенджеры.. C++. Nimbo. Open source. self-hosted. vue. голосовой чат. искусственный интеллект. Мессенджеры. оптимизация памяти.. C++. Nimbo. Open source. self-hosted. vue. голосовой чат. искусственный интеллект. Мессенджеры. оптимизация памяти. пет-проект.. C++. Nimbo. Open source. self-hosted. vue. голосовой чат. искусственный интеллект. Мессенджеры. оптимизация памяти. пет-проект. разработка с ии.. C++. Nimbo. Open source. self-hosted. vue. голосовой чат. искусственный интеллект. Мессенджеры. оптимизация памяти. пет-проект. разработка с ии. шумоподавление.

Дисклеймер

Основной код Nimbo писал ИИ. Я немного правил его ручками, но больше занимался тем, как всё должно работать: логикой, интерфейсом, выбором стека и архитектуры. Я рассматривал этот проект как возможность поэкспериментировать. Хотелось на чём-то живом понять, что вообще можно собрать таким способом и получится ли потом этим пользоваться.

Предисловие

Вообще-то я хотел просто играть с друзьями. Нужны были голосовые комнаты, чат, возможность показать экран, нормальный шумодав — и чтобы к железу софт был нетребовательным.

В Discord мне до сих пор нравятся голосовые комнаты, но, когда заходишь провести вечер с друзьями, ощущение, будто попал на китайский базар: тут реклама, там предлагают Nitro. Плюс без обходных путей он не открывается. Надоело каждый вечер запускать ещё и запрет, а потом разбираться, почему с ним не работает твич, хотя вчера всё было нормально (ни в коем случае не критика авторов запрета, ребятам суперлайк за то, что они делают! В таком мире мы живем). В TeamSpeak не справляется шумодав, друзья слышали много лишних резких звуков. В Mumble мне не хватало привычных фичей, например возможности показать экран.

Я попробовал какое-то количество звонилок, хотя и каюсь, ничего кастомного я не разворачивал. Вполне допускаю, что кто-то уже собрал именно то, что мне нужно. Но у меня сошлись все звёзды: хотелось нормально созваниваться с друзьями и было желание собрать с помощью ИИ какой-то сервис и довести его до состояния, когда друзья скажут, что готовы в него переехать. Из этого выросла моя мысль — публичная репа с сервисом, который можно развернуть у себя. Исходники и готовый клиент для windows уже лежат на GitHub в публичном репозитории, который вы сможете посмотреть и при желании покритиковать.

А затея вообще рабочая?

Начал я сразу с Windows-клиента. Хотелось понять, смогу ли я вообще довести свою затею до работающего состояния. В качестве стека для Windows я выбрал C++ и Qt. Главный критерий был — оставить как можно больше ресурсов игре. У меня есть друзья со старенькими ноутбуками, для которых ещё одна небольшая программа на фоне уже проблема. А шумодав и так обрабатывается локально, значит, с оптимизацией придётся потанцевать с бубном. Впрочем, я ещё подумаю, как разгрузить и этот момент.

Так или иначе, C++ давал возможность очень точечно управлять тем, когда программа занимает и освобождает память. Qt же отвечал за окна, кнопки, работу с устройствами и основу интерфейса. Базовое представление о C++ у меня было, и я понимал, что в разработке с ним придётся повозиться. Но ради лёгкого клиента решил нырнуть поглубже в этот омут.

Первая проба получилась. Был локальный чат, история сообщений, можно было открыть микрофон и проверить звук. В любом случае собрать EXE я смогу, а вот продумывать на нём дизайн, механики и UX будет тяжеловато, и токенов это будет есть х3. После правок нужно ждать сборку, потом раскидывать друзьям новый файл и просить его запустить. Мне хотелось быстрее видеть результат и чаще его проверять. Поэтому я заморозил этот клиент, приняв тот факт, что пилот работает, а значит, с ним можно работать. Я ушёл в веб на Vue + TypeScript. Серверную же часть я решил делать на Go, а для передачи голоса, камеры и экрана взял готовый LiveKit.

Дизайн

Когда начинаешь сразу делать интерфейс без холста, очень быстро упираешься в проблему чистого листа. А здесь ещё нужно объяснить нейронке, что ты хочешь, когда сам не особо пока понимаешь.

Сначала я перебирал готовые киты и фреймворки, но постоянно что-то не устраивало. Начинаешь дотачивать элемент под себя, сталкиваешься с ограничениями выбранной дизайн-системы, просишь переделать ещё раз. Попыток становится больше, токены уходят, а результат всё ещё не устраивает. Я подумал, что направить ИИ будет проще айдентикой, а не готовым китом или фреймворком. Собрал то, что нравилось по настроению, цветам и оформлению. Так оказалось проще передать свой вкус и получить первый экран, который было существенно проще править дальше.

У такого подхода есть своя цена. ИИ чаще плавает в мелочах: отступы, скругления, бордеры, вечно появляющиеся дивайдеры и пр. — правил изначально нет, а значит мест для нейронки, где она может уползти куда не надо, много. Приходилось давать много корректировок и быть внимательным при тестировании. Но в итоге этот подход мне показался более контролируемым. Увидел, что не нравится, оставил комментарий. От референса может остаться совсем немного или вообще ничего. Но он сделал для нас самое важное — решил проблему чистого листа.

Голосовая комната Nimbo

Голосовая комната в веб-клиенте Nimbo. Камера + показ экрана одного участника.

Profile.nimbo

Ещё с самого начала мне хотелось, чтобы Nimbo был самостоятельным у каждого, кто его развернул. Я не хотел брать на себя общую регистрацию пользователей, хранить их персональные данные и администрировать чужие компании друзей. Моя задача — дать код и клиент, а дальше человек сам решает, где поднять сервер и кого туда позвать.

Отсюда и профиль в файле. У человека на устройстве лежат ник, настройки, список серверов, куда его пригласили, и тех, которыми он управляет. Для каждого сервера сохраняется свой ключ доступа. Профиль можно выгрузить в файл .nimbo, защитить паролем и открыть на другом устройстве в совместимом клиенте. Сохраняются и настройки, и доступы к знакомым серверам. Общей базы всех пользователей Nimbo — нет. Профиль защищён обязательным паролем, который мы устанавливаем при первом экспорте.

На самом деле порог входа для владельца сервера всё ещё высокий. Сейчас нужно арендовать VPS, заплатить за него и разобраться с разверткой. Не у каждого есть навыки или нейронка, которая поможет поднять это чудо за тебя. Участнику же проще — получил приглашение, выбрал ник и зашёл. К тому, как упростить жизнь хозяину сервера, я ещё, конечно, вернусь.

Как в тест шумодава попало яблоко

Сначала я остановился на шумодаве RNNoise. Это распространённый вариант, голос мне нравился, задержка крохотная. Но на первых игровых сессиях выяснилось, что моя мышка прекрасно слышна — буквально каждый клик. Открываю пакетик с орешками — тоже слышно. Часть шума фильтр убирал, но резкие, звонкие звуки он не осиливает.

При поиске замены пробовал Speex и другие варианты. В конечном итоге остановился на GTCRN. По моим ощущениям, в наших звонках он лучше подошёл под бытовую возню. В полной тишине отдельный щелчок ещё можно заметить, а во время игры и разговора его не слышно (за редким исключением). Голос стал чуть глуше, задержка обработки немного выросла, но в игре эта разница вообще незаметна. Плюс отдельно пришлось разбираться с тем, чтобы обработка не съедала начало и конец фразы.

Чтобы сравнить фильтры на одинаковом звуке, взяли готовые записи щелчков мыши, укуса и жевания яблока и просто фразу. Сначала дали каждому шумодаву звук отдельно, затем смешали его с речью. Получилась запись, на которой можно послушать и помехи в паузе, и голос одновременно с ними.

Собственно, тесты. Чем выше число в децибелах, тем сильнее подавлена помеха.

Запись без речи

RNNoise

GTCRN

Speex

Мышь, запись 1

3,55 дБ

19,21 дБ

0,33 дБ

Мышь, запись 2

15,19 дБ

21,13 дБ

0,93 дБ

Мышь, запись 3

28,82 дБ

27,66 дБ

1,61 дБ

Яблоко

0,35 дБ

21,29 дБ

0,17 дБ

RNNoise на трёх мышах повёл себя очень по-разному. На одной почти не помог, на другой даже немного обошёл GTCRN. Зато с яблоком разница была большой. В нашем тесте обработка добавляла около 21 мс у RNNoise и 32 мс у GTCRN. В итоге GTCRN стал режимом по умолчанию, но RNNoise пока оставил как альтернативу. Важным нюансом является то, что всё это обрабатывается на компьютере пользователя. И это один из вопросов к будущей оптимизации.

QA наше все

Позже я перешёл к клиенту на Windows. Больше всего времени там съела работа с ОЗУ. Открыл текстовый чат, посмотрел ролик, вернулся, включил и выключил камеру. Приложение стало кушать больше памяти. Сделал ещё круг — потребление снова выросло.

При работе с C++ это был, конечно, ожидаемый исход. Возможность управлять ресурсами у тебя есть, но нужно пройти буквально каждое действие. Пользователь поставил ролик на паузу — думай, как выгружать это дело из памяти и что там может еще остаться. Выключил камеру, продолжая говорить — что должно закончить работу, а что ещё нужно звонку? И так во всем. Например, показательный случай был с камерой и показом экрана. Пять раз включили и выключили их в одном звонке. После пятого раза потребление разрослось до 305,8 МБ. Видео давно выключено, а программа продолжает держать память, которая понадобилась для его отправки. Оказалось, что та часть, которая отвечает за сжатие видео перед отправкой, зависала в памяти. После фикса в том же сценарии получили 30,3 МБ.

С роликами в чате тот же принцип. При воспроизведении память растёт, а на паузе клиент освобождает декодер и сохраняет позицию, чтобы потом продолжить. Поэтому расход снижается уже после паузы. Мне было важно, чтобы тяжёлая часть функции заканчивала работу вместе с действием пользователя. В какой-то момент я и правда превратился в тестировщика. Нон-стопом заходил, выходил, включал, выключал, смотрел на цифры и пытался вспомнить, после какого именно клика потребление ОЗУ не вернулось к исходным значениям. Потому что все эти сценарии ИИ за меня продумать не могла. Но может я плохо просил…

Спустя некоторое время голосовой звонок вообще показывал 19,9 МБ. На стенде считали частный рабочий набор — физическую память, принадлежащую процессам Nimbo. Но в реальности, вне стенда, 25–30 МБ — это наверное то, чего стоит ожидать.

Настало время всё ломать

Проверка безопасности оказалась для меня одним из самых интересных занятий за всю разработку сего чуда. Я вообще люблю искать какие-то обходные пути, хаки, разбираться, что-то поломать, найти лазейку. Часть моделей я запускал локально на своём компьютере. Знакомил с нужной частью архитектуры, придумывал конкретную цель и гипотезу обхода и отправлял пару бедолаг-агентов её проверять на тестовом стенде. Оперативки немного, поэтому работал небольшими задачами. Например, так я нашел что анонимный выход мог полностью перезаписать базу. Я думаю там еще много чего можно накопать в плане безопасности. И это уже лежит пачкой задач в моем бэклоге)

Что хочу сделать дальше

Первым делом — рисование поверх демонстрации экрана, как это реализовано в Zoom. Когда объясняешь другу, что нажать, чтобы игра заработала, очень хочется просто обвести нужное место. Ещё нужен игровой оверлей, чтобы видеть, кто в комнате и кто говорит. Упрощение запуска своего сервера. Было бы здорово поднять его прямо из приложения на компьютере одного из друзей и собраться без аренды VPS если железо позволяет. Клиент для Mac, возможно, для Android и более удобный интерфейс на небольших экранах. Планов, собственно, масса, потому что как продуктом мне уже нравится этим пользоваться.

Как использовать?

Nimbo бесплатна. Сервер, веб и клиент для Windows лежат в репозитории Nimbo. Можно взять, развернуть у себя, изучать, переделывать и делать всё, что, собственно, хочется. Код проекта распространяется по MIT. Я делаю это в первую очередь для себя и для таких же компаний друзей. Если будете делать свой клиент, мне бы хотелось сохранить совместимость с профилем .nimbo, чтобы человек мог забрать свои настройки и доступы с собой и применить в другой компании.

На этом спасибо, что дочитали. Буду рад критике, мыслям и впечатлениям — и от самого Nimbo, и от этой истории.

Автор: DiabloEN

Источник