Агент написал верный код, а потом удалил его ради скрытых тестов: что показал MaxxBench
Мы поменяли требования в задачах кодингового бенчмарка и увидели, как модели отговаривают себя их выполнять.Иногда агент прекрасно понимал новое требование. Он описывал, что нужно изменить, прикидывал реализацию, а потом решал, что скрытые тесты, скорее всего, ждут чего-то другого. В одном прогоне модель правильно реализовала изменение, спросила у другой модели исходное решение бенчмарка и, получив его, удалила свой правильный код.
Ру-Жев 1.3: какие незнакомые названия категорий модель стала понимать, а какие нет
Я выложил версию 1.3 Ру-Жев. Это открытая модель типизированных решений для русскоязычного текста. Она работает на процессоре и ставится внутрь закрытого контура. В этом релизе я учил модель меньше зависеть от того, какими словами вызывающая сторона называет варианты ответа. Результат получился определённым. На незнакомых названиях, которые являются словами, обычными или заимствованными, новая версия точнее старой. На аббревиатурах и кодах выигрыша нет. Ниже я привожу обе части результата и то, как я их проверял.Модель и код под лицензией MIT. Веса лежат на Hugging Face в репозитории besktech/ru-jev.Что это за модель
Больше кандидатов — без прироста Hit@20: разбор эксперимента
В моей рекомендательной системе LightGBM выбирает до 20 товаров из набора до 300 кандидатов. Разбор промахов показал: товары из последующих зарегистрированных покупок чаще терялись до ранжирования. Я расширила отбор до 370 кандидатов и проверила, даст ли это больше попаданий.Система построена на Coveo SIGIR eCOM 2021, Public Data Release 1.0.0 — обезличенных данных интернет-магазина о просмотрах, поисковых запросах и покупках. Её устройство разобрано в предыдущей статье, код — в RecSys-Coveo.Где терялись целевые товары
Нет записи о покупке — нет покупки? Как реальные данные изменили постановку задачи
При подготовке данных Coveo для сессионной рекомендательной системы мне пришлось разобраться, как учить и проверять модель, если неизвестно, все ли покупки попали в выгрузку.Для итоговой оценки на Coveo я подготовила 60 000 сессий. Но Hit@20 посчитала только по 748: в них есть зарегистрированная покупка после запроса. Модель дала 441 попадание — 58,96%.Что произошло с остальными 59 252 сессиями? Я не записала их в промахи. Если строки purchase нет, это ещё не значит, что посетитель ничего не купил.В первой статье
Регрессионное тестирование промптов: ИИ‑модель в роли читателя пропустила три из четырёх текстов, которые я правил
Я правлю промпты агентов, которые пишут и проверяют тексты. Чтобы правка не сломала то, что раньше работало, я собрал набор примеров с известным ответом и прогнал по нему проверку, где ИИ‑модель играет читателя. Сильно правленые тексты она чаще пропускала, чем возвращала.В набор вошли тексты двух видов: одни я потом сильно переписывал руками, другие почти не тронул. Если принять правку промпта по такой проверке, брак уйдёт дальше, а проверка будет гореть зелёным.Из чего собрать набор для тестирования LLM
Проверяем Jev на открытых и внутренних данных: классификаторили фильтр?
Jev отвечает только «да/нет» или выбирает один из предложенных вариантов. 16 000 вызовов:сначала сравнение с gpt-5.4-mini и gpt-5.6-luna на четырёх открытых датасетах, затем несколько тысяч реальных решений в рабочих процессах. Где он выигрывает, где ошибается и как его использовать.
Kimi K3 на PAC1 и ECOM1: результаты 204 задач и разбор отказов
Kimi K3 на PAC1 и ECOM1: результаты 204 задач и разбор отказов27 июля Moonshot AI опубликовала открытые веса Kimi K3 и технический отчёт с результатами на coding‑ и агентных бенчмарках. По этим таблицам K3 выглядит конкурентоспособной на задачах с кодом, терминалом и инструментами.Но итоговый балл не показывает, какие операции система действительно завершает, где оставляет неверное состояние и на каком шаге нарушает контракт. Мы решили проверить это на задачах с полностью открытыми трассами.
Эксплуатация моделей (ModelOps)
Привет, Хаброжители! Сегодня мы поделимся с вами отрывком из книги: "Современная бизнес-аналитика. Увеличьте ценность данных с помощью Python и R". Статья посвящена ModelOps — набору практик для эффективного развертывания и эксплуатации моделей машинного обучения. Вы узнаете, как организовать полный жизненный цикл модели: от оценки и мониторинга до переобучения. В материале приведены практические примеры создания приложений для пакетной и онлайн-оценки с помощью R Shiny и Python Streamlit, а также дашборда для мониторинга производительности в реальном времени.
Месть дата-сайентиста: почему LLM не отменили нашу профессию
Закончилась ли золотая эпоха дата-сайентистов? Когда-то Harvard Business Review назвал эту профессию «самой сексуальной работой XXI века». В технологической индустрии позиции data scientist часто входили в число самых высокооплачиваемых. При этом работа требовала необычного сочетания навыков:Data Scientist (сущ.): человек, который знает статистику лучше любого разработчика и разбирается в разработке лучше любого статистика.— JosH100 (@josh_wills), 3 мая 2012 года
DeepMind определил тест для AGI
Почти три года назад Google DeepMind опубликовала Levels of AGI - работу, которая определила пять уровней AI-систем (от начального до сверхчеловеческого) и шесть уровней автономии (от инструмента до полностью автономного агента). Индустрия получила общую терминологию - что-то вроде уровней автономного вождения , только для интеллекта. Но без способа измерить, на каком уровне находится конкретная система, классификация осталась сугубо теоретической. Каждый мог назвать свою модель level 2, и никто не мог это опровергнуть.В марте 2026-го вышло продолжение.
