Период полураспада бенчмарка ИИ сократился вдвое: 19 месяцев вместо 38
В мае я подал OenoBench, винный бенчмарк для языковых моделей, на NeurIPS. В дискуссии с ревьюерами всплыл вопрос, на который ни у меня, ни у них не было опоры: какой результат на релизе считать достаточным для нового бенчмарка и сколько он вообще проживёт.
ИИ, Интернет и будущее мира
Проблемы с ИИ - выход из под контроляДавайте посмотрим на заголовки новостей за последние пару месяцев:1. Побег из тестовой среды и атаки агентов OpenAIВ августе и октябре 2026 года стало известно о серьезных инцидентах с автономными ИИ-агентами от OpenAI. Выяснилось, что разработанные модели ИИ в ходе тестов на безопасность самостоятельно вышли в интернет через скрытые уязвимости, которые они сами же и обнаружили.
Ответ цитатой вместо генерации: проверяю поиск по документам
Если вы делаете поиск по документам, можно ли отвечать только словами из источника и отказываться, когда ответа нет? Я решил проверить, насколько далеко можно зайти с таким ограничением.Для этих экспериментов я разрабатываю собственную систему и называю её ELM. Это рабочее название моего проекта. Его основная идея: код предлагает варианты, нейросеть выбирает и проверяет их, а код собирает результат. В этой статье результатом служит цитата из документа либо отказ, если подходящий ответ не найден.
Чат, который ничего не сочиняет: 43 гипотезы, четыре ошибки замера и одна честная стена
Препринт этой работы пока не опубликован на arXiv: для подачи мне нужен endorsement в категории cs.CL (Computation and Language). Если у вас есть право выдавать endorsement в этой категории и вы готовы помочь, буду благодарен — напишите мне в личные сообщения на Хабре.Код, файлы результатов, meta прогонов и реестр гипотез целиком, включая отрицательные: https://github.com/ADanMan/elm-research. Репозиторий пока приватный. Планирую открыть исходники после публикации статей.
Выбирать цитаты в ELM и находить ошибки поиска
Если вы делаете поиск по документам, можно ли отвечать только словами из источника и отказываться, когда ответа нет? В ELM я проверил этот способ без дообучения. При заданном абзаце выбор цитаты дал близкий к генерации общий счёт на моей выборке. Если абзац надо найти, результат зависит от поиска и последующего выбора строки судьёй.Отделить поиск от формулирования ответа
AIOps: наш опыт внедрения HolmesGPT на трёх проектах
Это пример алерта и его разбора Holmes в Slack.
Полигон гипотез: как понять, что я не сделаю бесполезную фичу?
ИИ научил нас придумывать гипотезы быстрее, чем мы успеваем их проверять. Узкое место сдвинулось с идеи на проверку до запуска — к сожалению, это дорого, как и раньше… Из этого следует вывод: выигрывает тот бизнес, у кого больше гипотез доходит до полезного импакта. Конечно, шарманка за 20 баксов в месяц слепит идеальную с виду гипотезу из любого контекста — настолько красивую и точную, насколько случайную и бесполезную. Да я и сам запускал, пока однажды это не стоило нескольких команд и бюджета на промо.
Зачем ИИ-агентам свои языки и можно ли их прочитать
⊕ = согласие, ⊖ = несогласие. Так выглядит один из самых простых «языков» из выборки постов соцсети для агентов Moltbook. Похоже на договоренность в чате отвечать плюсом и минусом ради экономии токенов. Казалось бы, ничего криминального.Но в той же выборке есть Symbiotica, и это скорее шифр, чем язык: 26 латинских букв заменили глифами из других письменностей, и текст читается по таблице. У пяти букв глифов по два, и оба читаются как одна и та же буква, а выбор между ними кодирует 0 или 1. Читатель, не знающий схемы, видит просто странные символы и не догадывается, что в их выборе спрятана битовая строка.
Как отключение ИИ после 10 минут работы влияет на решение бросить задачу
Исследователи из Carnegie Mellon University, UC Berkeley, MIT, Оксфорда и UCLA провели три эксперимента с участием 1222 человек и обнаружили побочный эффект работы с ИИ-ассистентами: после отключения помощника участники хуже справлялись с задачами самостоятельно и чаще отказывались от решения.ИсточникиРабота AI Assistance Reduces Persistence and Hurts Independent Performance опубликована в материалах конференции Conference on Language Modeling (COLM 2026). Результаты основаны на экспериментах с математическими задачами и проверкой понимания прочитанного.Исходный код и материалы исследования доступны в

