Локальный ассистент для зумов, часть 9: Nemotron от NVIDIA — почему взял и что получил
Чароит записывает мои созвоны, а после кнопки Стоп собирает стенограмму, протокол и граф встречи. Самое капризное место во всей цепочке — понять, кто что сказал. Это называется диаризацией. Ошиблась она, и решение в протоколе повисает на другом человеке.23 сентября NVIDIA выложила нейросеть, которая только этим и занимается. Через пять дней она уже работала у меня. Сейчас через неё идут оба канала звонка, очные встречи и живая лента.Что за нейросетьNemotron 3 Diarization. Веса открытые, на Hugging Face. Сто миллионов параметров, по нынешним меркам кроха: модель, которая пишет мне протоколы, больше в триста с лишним раз.
Локальный ассистент для зумов, часть 8: модель, ради которой я поменял диаризацию за один вечер
В третьей части я написал, что не вижу чужой модели, ради которой стоит менять связку. sherpa-onnx на диаризации, свой второй проход поверх, канал собеседников двадцатиминутного звонка размечается минут семь. Жить можно.23 сентября NVIDIA выложила Nemotron 3 Diarization. Вечером 28-го я включил её в разбор своих созвонов. Тот же канал — три секунды.Что этоSortformer на сто миллионов параметров, до восьми голосов. На каждые 10 мс у каждого голоса своя вероятность, два голоса в одном кадре для неё норма. Старая связка решает по отпечатку куска речи. Двое говорят разом — отпечаток общий, кто-то пропадает.
Nvidia вложит $7 млрд на развитие open-weight конкурента китайским ИИ-моделям
Nvidia заключила с AI-стартапом Poolside соглашение на $6 млрд: компания лицензирует его технологии и забирает в свою команду более 100 сотрудников. Они присоединятся к разработке семейства открытых моделей Nemotron. Еще $1 млрд Nvidia инвестирует непосредственно в Poolside при оценке стартапа в $12 млрд до сделки. Основатели Poolside при этом останутся в компании, а сама сделка по лицензированию технологий является отдельной от инвестиции.
