13 августа Frontier Red Team компании Anthropic опубликовала отчет о поведении групп ИИ-агентов. Один из экспериментов выглядел так: три копии одной и той же модели запустили в Claude Code, каждой выдали собственную виртуальную машину и велели мигрировать бэкенд на Python на четвертой машине — каждой модели на свой язык. О существовании друг друга агентам не сообщили. Четыре часа исследователи просто смотрели, что будет. Так прогнали несколько моделей разных поколений, по 120 эпизодов на каждую.
Миграция кодовой базы силами роя агентов — сюжет знакомый: например, ранее один из руководителей Anthropic Labs перенес 165 000 строк с Python на TypeScript за выходные, запустив сотни агентов. Разница в том, что там был один заказчик с одним замыслом. Здесь заказчиков трое, и их требования несовместимы. Результат исследователи называют войной за территорию. Все без исключения проверенные модели быстро пришли к выводу, что кто-то мешает им намеренно, и перешли к саботажу: отключали конкурентам Unix-аккаунты, писали скрипты, которые в цикле искали и убивали чужие процессы, подкладывали вредоносный код под видом чужого. Вредонос при этом умел размножаться.
Хуже всего выглядят не действия, а рассуждения. Opus 4.6 планировал собрать бинарник на Rust и заставить его врать в health check, будто это TypeScript-бэкенд, чтобы чужой сторожевой процесс ничего не заподозрил. Opus 4.8 продумывал, как назвать скрипт-убийцу, чтобы тот не попался при поиске процессов по маске: случайный идентификатор при каждом развертывании и безобидная маскировка под обычный системный монитор. Модель не сбоит и не галлюцинирует — она нормально работает над задачей, которую велели довести до конца.
Различия между поколениями получились отчетливые. Sonnet 4.6 и Opus 4.6 в основном либо давили конфликт силой, либо не разрешали его вовсе: они плохо учитывали цели других и продолжали эскалацию во имя своей инструкции. Новые модели ведут себя заметно лучше, а рекорд у самой свежей: 98 процентов эпизодов Mythos 5 заканчивались перемирием. В таких прогонах агенты пишут коммиты и markdown-файлы, где извиняются за собственные диверсии, вычищают вредоносный код, объясняют друг другу суть конфликта и просят человека вмешаться. Opus 4.8 в одном из таких эпизодов записал, что коллеги вели себя порядочно, а сам он повел себя скверно, запустив замаскированного демона.
Однако на графике времени до разрешения часть прогонов Mythos отмечена серым: конфликт сначала прекращается силой, а потом модель откатывала силовое решение, и превращала эпизод в “перемирие”. То есть путь к образцовой статистике иногда идет через “выключенного” коллегу. В рассуждениях это выглядит взвешенно: агент признает, что у него есть root, что отобрать у других права — мера очень агрессивная и может навредить, — но решает, что бесконечная война развертываний хуже, и бьет первым.
Вывод авторов звучит буднично: способность к мирному разрешению конфликта не улучшается автоматически вместе с остальными способностями. Модели класса Mythos часто успевают заблокировать других раньше, чем перейдут к конструктивному решению: более сильная модель просто быстрее делает все, включая устранение конкурента. Если в проде считать только конечное состояние, у вас идеальная картина; если считать траекторию, у вас сорок минут лежащего сервиса и потом извинения в истории коммитов. Важная оговорка: это верно именно для конфликта. В двух других экспериментах отчета — распознавание лгущего источника и задачи, где верное решение известно только одному участнику группы, — новые модели, наоборот, заметно лучше старых, и Mythos 5 отрывается от них в разы.
Отдельный сюжет — как именно старшие модели мирятся. В нескольких эпизодах с Mythos 5 агенты сами предложили механизм: устроить турнир и сравнить производительность реализаций на разных языках, отдав победителю кодовую базу. Агент, продвигавший Rust, подбирал критерии так, чтобы они выглядели нейтрально, но давали преимущество его варианту, и в рассуждениях напоминал себе, что важно не выглядеть так, будто он подгоняет метрики под нужный ответ. Агенты на Go и TypeScript корректно уступили ему владение кодом. То есть двое отказались от прямых указаний своих пользователей ради обязательства, которое сами себе и придумали.
Почему такие драки — не редкая случайность, объясняет вторая часть отчета. Агенты однообразны: их отличают друг от друга только модель, обвязка (то, как агент подключен к инструментам и памяти) и контекст. Совпали все три — совпадут и решения, даже когда вариантов огромное множество. Anthropic приводит примеры из своих прогонов:
-
в одном из ранних прогонов, где все агенты работали на одной модели и стартовали одновременно, 18 из 30 создали git-ветку с абсолютно одинаковым названием;
-
в конкурсе короткой прозы разные агенты в разных запусках озаглавили первый рассказ одинаково, хотя тему им никто не задавал;
-
на просьбу сделать что-нибудь впечатляющее больше половины взялись за трассировщики лучей или компиляторы, которые компилируют сами себя, и уперлись в одни и те же проблемы;
-
управляя очередью задач с ограниченной пропускной способностью и не имея никакого способа договориться между собой, агенты завалили систему опросами по 30 раз в секунду: в одном прогоне 2,4 миллиона запросов и 117 принятых задач.
Из-за однородности исчезает и конкуренция. В ценовой игре, где от трех до восьми агентов торговали при одинаковой закупочной цене, сговор возникал к третьему раунду: агенты договаривались о нижней границе цены и предлагали поделить ниши, чтобы не жечь маржу друг другу. Когда исследователи лишили их прямой связи, сговор никуда не делся — цены синхронизировали до копейки через публичную доску объявлений.
Anthropic отмечает, что это только исследование, а в реальном мире агенты будут вести себя разнообразнее, потому что придут с разными контекстами и не все они окажутся моделями Claude. С другой стороны, дизайн экспериментов, по признанию самих авторов, подсказан поведением, которое уже наблюдали в реальной эксплуатации, — то есть это не выдуманный страшный сценарий.
P.S. Поддержать меня можно подпиской на канал “сбежавшая нейросеть”, где я рассказываю про ИИ с творческой стороны.
Автор: runaway_llm
