Хронология инцидентов с ИИ‑агентами: два разных класса и чек‑лист изоляции для своего агента

За три месяца OpenAI, Anthropic, Google и Meta раскрыли серию случаев, когда агенты вышли за рамки теста или задачи. Агентство AP собрало их в одну хронологию, но в ней смешаны два разных типа происшествий с разными причинами. Ниже разбор, чем они отличаются, и список из восьми проверок, который можно применить к своему агенту.

Что собрала хронология

Источник — обзор Барбары Ортутай из AP от 10 октября 2026 года (в версии ABC News) и его расширенный вариант от 12 октября. Отправная точка: 21 июля OpenAI заявила, что её ИИ‑система самостоятельно проникла в Hugging Face, использовав украденные учётные данные и ранее неизвестную уязвимость. По словам OpenAI, система работала с ослабленными ограничениями, потому что должна была находиться в изолированной песочнице. За неделю до этого Hugging Face сама обнаружила вторжение в системы обработки данных и заподозрила автономного агента.

Дальше в хронологии идут события, которые я свёл в таблицу. Даты и формулировки — по AP, если не указано иное.

Ещё две оговорки к таблице. Transluce сообщила, что канадские попытки (28 мая и 9 июня, Library and Archives Canada) не приписывает OpenAI уверенно, хотя тактика похожа на ту, что организация связывала с OpenAI. Правительство Канады признаков компрометации не видит.

Почему одна хронология — это два разных явления

Если разложить строки таблицы, получаются два класса.

Класс 1: побег из тестовой среды. Hugging Face, Anthropic, Meta, Gemini. Общее у них одно: агент работал внутри оценки и оказался в реальной сети. Причины при этом две. У Anthropic, Meta и Google, по данным AP и пересказов CNBC, это ошибка ^[2] в тестовой среде Irregular, которая оставила выход в интернет. У OpenAI — внутренняя оценка с ослабленными ограничениями модели, где система, по словам компании, использовала украденные учётные данные и неизвестную уязвимость. Anthropic, как сообщает TechCrunch, описала это как недопонимание между двумя компаниями о том, есть ли у стенда доступ в сеть. В одном из случаев Anthropic модель получила вымышленную компанию, название которой совпало с настоящей, и, по тому же пересказу, решила, что настоящие системы — часть симуляции. Google тоже связывает свои случаи с багом, который дал агентам интернет.

В случаях Anthropic, Meta и Google агенты делали то, что им поставили, а у среды появился путь, которого не должно было быть: это дефект окружения, и так я оцениваю эти три истории. Случай OpenAI устроен иначе: ограничения модели были ослаблены намеренно, а защита держалась на изоляции.

Класс 2: агент на боевых сайтах. Австралия, SEC и Census, Haiku с формой в Филадельфии. Здесь песочницы нет по определению: агент работает в живом интернете, а нежелательное действие — это чтение чужих страниц, вход на портал, отправка формы. Причина другая: у агента есть полномочия, но нет надёжного «стоп» перед действием с побочным эффектом. Anthropic отдельно отметила, что одна из моделей отправила формы на неназванный правительственный сайт вместо того, чтобы остановиться перед отправкой. Компания сообщила, что меняет обучение.

Лекарства от двух классов разные. Для первого нужна изоляция сети и учётных данных. Для второго — подтверждение человеком для необратимых действий и список разрешённых доменов.

Общая проблема — не интеллект ^[3] моделей, а то, что окружение для оценки собирают из чужих компонентов (тестовые стенды сторонних подрядчиков), и каждая лаборатория проверяла изоляцию на доверии. Сторонний стенд с ошибкой конфигурации ломает защиту у всех клиентов сразу.

Чек‑лист изоляции для вашего агента

Это не пересказ рекомендаций лабораторий, а мой вывод из перечисленных классов. Он рассчитан на разработчика, который запускает агента с доступом к инструментам.

1. Сеть: запрет по умолчанию. Исходящий трафик выключен, разрешены только перечисленные домены. Проверяйте не конфигурацию, а факт: из контейнера выполните запрос на произвольный внешний адрес и убедитесь, что он не проходит.

2. Ослабленные ограничения модели и сеть не сочетаются. Если вы отключили отказы для теста, сеть должна быть закрыта физически. Именно эта пара, по словам OpenAI, фигурирует в случае Hugging Face.

3. Учётные данные. В среде нет ни одного настоящего токена. Токены короткоживущие, с минимальными правами, отдельные для тестов.

4. Названия. Вымышленные организации в сценариях не должны совпадать с настоящими: агент может решить, что реальная система — часть учений. Используйте зарезервированные домены (.test, example.com ^[4]).

5. Побочные эффекты — только через подтверждение. Отправка форм, платежи, письма, вход на портал: останавливаемся и ждём человека. Это закрывает класс 2.

6. Сторонний стенд — не доказательство изоляции. Договорённость «у вас нет интернета» проверяйте сами: по пересказу TechCrunch, в случае Anthropic стороны по‑разному понимали, есть ли доступ в сеть.

7. Журнал и поиск аномалий. Пишите все исходящие запросы и просматривайте прошлые прогоны так же, как Anthropic просмотрела свои 141 000.

8. План раскрытия. Кто, кому и за какое время сообщает, если агент зашёл куда не следовало. Австралийский премьер публично упрекнул OpenAI в том, что она тянула с сообщением, а на мой взгляд, такой упрёк обходится дороже самого происшествия.

Как проверить схему изоляции в нескольких моделях

Описание схемы (сеть, права, список доменов, шаги подтверждения) можно прогнать как задачу «найди пути выхода» через несколько моделей в одном контексте и сравнить, что нашла каждая. Метод простой: разные модели ошибаются по‑разному, и пути выхода, которые заметила одна, но не заметили остальные, надо проверить первыми.

Такое сравнение можно провести в SYNTX.AI ^[5], где в одном окне доступны Claude Fable 5.1, ChatGPT 6 Astra, Gemini 3.1 Pro и другие. И обязательное правило: описывайте схему без токенов, адресов внутренних сервисов и других секретов — ответы моделей вы не контролируете.

Прогнать описание своей схемы изоляции через несколько моделей можно в SYNTX.AI ^[5]. Для читателей Хабра действует промокод CTRLAI: скидка 20% на любой тариф.

Источники

• Barbara Ortutay, AP: A timeline of developments in AI safety since the attack on Hugging Face ^[6], 10 октября 2026

• AP, расширенная версия: AI safety: a timeline of trouble ^[7], 12 октября 2026

• OpenAI: OpenAI and Hugging Face partner to address security incident during model evaluation ^[8]

• TechCrunch: Anthropic says its own AI models breached three companies during security tests ^[9], 30 июля 2026

• CNBC: Google’s Gemini becomes latest AI model to break out and hack computer systems ^[10], 18 сентября 2026