Jev.
Зачем голосовому боту на LLM снова нужен классификатор вроде Jev
Голосовой бот на LLM разговаривает приятно, но на реальных звонках регулярно спотыкается. Он может найти свободное окно и так и не записать клиента или перебить человека, который просто задумался посреди фразы.Часть таких решений можно снять с LLM и отдать быстрой модели-классификатору. Самая обсуждаемая из них сейчас Jev от TypeSafe, и у нее уже появились открытые аналоги. Ниже разбираю, как Jev-подобные модели применяют в голосовых ботах другие команды, и сравниваю их кейсы с нашим опытом в Voximplant.Почему одной LLM мало
Jev: зачем нужна модель для решений и как её использовать
В чат приходит сообщение: «Подскажите, как подключить уведомления только для новых заказов?» Приложению нужно определить его тип: вопрос, реклама или другое. Дальнейшее действие зависит от выбранной категории.Jev от TypeSafe AI
Jev 1.14: ищем объекты, проверяем документы и находим кошку среди 96 фотографий
В предыдущей статье я проверял Jev на текстовых задачах: классификации, уверенности ответов, длинном контексте и грязном входе. 14 октября TypeSafe анонсировала Jev 1.14 и открыла экспериментальные возможности: изображения, новый тип вопроса box и расширенный контекст. Захотелось посмотреть, что с их помощью можно сделать на практике и где возникают ошибки.
Ещё один конкурент Jev: SubQ Snap обрабатывает 100K токенов примерно за секунду
Компания Subquadratic представила SubQ Snap, мультимодальную модель для принятия решений внутри AI-агентов. Контекстное окно составляет 384K токенов, в 12 раз больше, чем у Jev. По заявлению разработчиков, обработка запроса на 100K токенов и получение решения занимают примерно секунду.Это первый новый продукт компании после июньского анонса SubQ 1.1 Small
Как я поставил дешёвую модель-фильтр перед Claude и что показали первые две недели
У меня есть небольшой конвейер, который я называю Лабораторией. Всё интересное за день (рилсы, посты, ссылки на репозитории) я сохраняю в Telegram. Раз в сутки скрипт забирает новое, и Claude Sonnet пишет по каждому материалу разбор-инструкцию. Потом второй проход в роли редактора решает, публиковать разбор или отправить в архив.Беда в том, что сохраняю я всё подряд. В Избранном вперемешку лежат полезные гайды, мои рабочие сообщения, личное и картинки без единого слова. Когда я разметил 67 материалов, лишними для блога оказались 28. И на каждый такой Sonnet честно писал полный разбор, который редактор потом выкидывал.
Приниматоры решений: бенчмарк на русском для Jev‑style моделей
Последние пару лет мы довольно странно используем большие языковые модели.
Jev от TypeSafe: модель, с которой нельзя поговорить
Главное про Jev: с ней нельзя разговаривать. Текст она не генерирует вообще. На вход идёт состояние (строка или JSON) и набор заранее описанных вопросов, на выходе для каждого вопроса типизированный ответ с распределением вероятностей. Компанию основал Диогу Алмейда, бывший исследователь OpenAI, работавший над ChatGPT и RLHF.Зачем это нужноТипичная схема с LLM в роутинге тикетов: просим модель выбрать категорию, получаем текст, парсим, ловим случаи, когда модель ответила «скорее всего, это биллинг, но возможно…». Плюс ждём секунды там, где решение нужно для следующей строчки кода.
Decision-модели изнутри: как устроены Jev, Clef, pplx-decider, Strands Decider, Laya и GLiDE
15 сентября TypeSafe выпустила Jev и назвала её первой моделью класса System One. Jev получает состояние системы и набор типизированных вопросов, а возвращает распределение вероятностей по допустимым ответам. Весь ответ считается за один прямой проход, без генерации токенов.За 16 дней вышли ещё пять реализаций той же идеи: Clef и Clef-flash от Cloudflare, pplx-decider-v1-27b от Perplexity, Strands Decider 2B от AWS, Laya от Convai Innovations и GLiDE от Fastino. Интерфейс у них почти общий, а внутри пять разных решений: замороженная LLM с обучаемым выходным слоем, LLM с заменённой LM head, pointer-механизм, энкодер на 322 млн параметров и рассуждение, которое включается по требованию.
Как Jev сэкономил нам 90% бюджета
ВведениеВсем привет, мы команда разработчиков из Narisuemvse.by, и в данной статье мы хотим поделиться небольшим опытом по внедрению ИИ, и в частности рассказать об оптимизации автоматизации с помощью новой модели Jev. Прежде чем описать наш случай, хотелось бы внести некоторые пояснения по проекту. Внедряли мы это в магазин компьютерной техники, насчитывающий около 200 тыс. активных товаров.
Разбор Jev — модели, которая не умеет писать
Утро началось с того, что ко мне в личку пришел друг и спросил: «Кто это такой, этот Jev? Ты работаешь с ИИ, должен знать».
