Decision-модели изнутри: как устроены Jev, Clef, pplx-decider, Strands Decider, Laya и GLiDE
15 сентября TypeSafe выпустила Jev и назвала её первой моделью класса System One. Jev получает состояние системы и набор типизированных вопросов, а возвращает распределение вероятностей по допустимым ответам. Весь ответ считается за один прямой проход, без генерации токенов.За 16 дней вышли ещё пять реализаций той же идеи: Clef и Clef-flash от Cloudflare, pplx-decider-v1-27b от Perplexity, Strands Decider 2B от AWS, Laya от Convai Innovations и GLiDE от Fastino. Интерфейс у них почти общий, а внутри пять разных решений: замороженная LLM с обучаемым выходным слоем, LLM с заменённой LM head, pointer-механизм, энкодер на 322 млн параметров и рассуждение, которое включается по требованию.
Писать агенту по-английски ради экономии? 40 прогонов: разница 12 токенов на задачу
В чатах про кодинг-агентов регулярно всплывает совет: пишите промпты по-английски, русский съедает в полтора раза больше токенов. Я сам так делал первые пару месяцев. Потом стало интересно, сколько я на этом сэкономил. Сел и посчитал.Сначала токенизаторВзял абзац на русском и его английский перевод, отправил в API и посмотрел, сколько входных токенов насчитала модель. У Opus 5.5 и Sonnet 5.5 токенизатор общий, цифры совпали:по-русски 194 токена (470 символов);по-английски 132 токена (454 символа).В 1,47 раза. Совет не врёт.
Программа поиска по PDF. Разбираем PageIndex, Streamlit и ссылки на страницы
«Срок гарантии — 18 месяцев». Красивый ответ. А если в договоре написано 12? Или число 18 стоит в разделе о хранении, а модель просто зацепилась за него?В чате такие ошибки прячутся за гладкой фразой. Я хотел иной маршрут: задать вопрос к PDF, получить ответ и одним нажатием открыть физическую страницу исходного файла, на которую ссылается модель. Так появился PDF Desk
Gemini 4 победила в бенчмарках. Почему это всё меньше говорит о качестве модели
Gemini 4 Argon вышел с таблицей, где он лидирует в 12 тестах из 18. Ровно такую таблицу Google показывала в феврале — для Gemini 3.1 Pro. Тот потом проиграл Claude в реальной работе больше чем на 300 очков. У релизов Gemini сложился сценарий, и Argon пока идёт по нему шаг в шаг. Дело при этом не только в Google: победа в бенчмарках сегодня значит всё меньше.Сценарий в трёх актахУ каждого релиза Gemini последний год один сюжет.
Вдвое меньше токенов без смены модели: что NVIDIA сделала с harness кодинг-агента
Исследователи из NVIDIA, MIT и NTU поручили одному ИИ-агенту улучшать программу, в которой работает другой ИИ-агент, кодинг-ассистент. Цель поставили одну: тратить меньше токенов и сохранить качество решения задач.Найденные приёмы сократили расход токенов на 45–49 %, счёт за API снизился примерно на треть. Счёт упал меньше, потому что сэкономленные токены в основном приходились на prompt cache, который и так стоит дешевле. Средний балл на бенчмарке EdgeBench при этом снизился на 6 %.Статья SoL-Pi вышла 17 сентября 2026 года, код открыт в репозитории NVlabs/SoL-Pi.Что такое harness
Как я собрал винный бенчмарк на 3 266 вопросов руками LLM и где они меня подвели
В феврале я решил измерить, сколько языковые модели на самом деле знают про вино. Умеют ли они поддержать разговор о Бордо, мне было неинтересно. Меня интересовало, знают ли они, сколько месяцев Бароло обязано провести в бочке и в каком округе штата Вашингтон лежит AVA Beverly. К сентябрю из этого вышел бенчмарк OenoBench: 38 104 факта, собранных 35 скраперами из открытых источников, 3 266 вопросов с выбором ответа и прогон шестнадцати моделей. Почти всю работу сделали агенты: вопросы генерировали пять моделей, проверяли их десять агентов аудита. Я был единственным человеком в этой схеме и отвечал за то, что агенты проверить не могут: за вино.
Что умеет и где ломается Jev: большое тестирование
В работе с моделями важно не только знать их точность, скорость и цену, но и понимать, где им можно доверять, а где нужна дополнительная проверка. Многие ограничения обнаруживаются уже в процессе интеграции — и о них хотелось бы знать заранее.
Эксперименты с Радиантом: память агента против окна в миллион токенов
Привет! Меня зовут Глеб Смольяков, я инженер-программист в DevRel-отделе Битрикс24.
Reasoning-версию GigaChat 3.5 теперь можно подключить в Evolution Foundation Models
Летом коммерческий доступ открыли к GigaChat 3.5 Ultra, теперь же в каталоге сервиса Evolution Foundation Models
От 3000 сессий в месяц до 100 в секунду: как LLM заменила ручную оценку ботов поддержки
Привет, Хабр! На связи Ангелина Большина, Денис Толкачев и Игорь Буянов, команда Customer Support NLP, мы разрабатываем ботов для службы поддержки клиентов. И наша работа полезна для развития продукта MWS AI Клиентский сервис. Сегодня мы расскажем вам про то, как мы автоматизировали оценку наших ботов с помощью специально разработанной метрики. Мы разделили материал: сначала расскажем про бизнес-составляющую, а затем – про технические детали. Итак, поехали!
