Почему тесты на безопасность ИИ-агентов внезапно перестали работать

Компьютерные агенты на базе LLM уже не просто отвечают на вопросы — они кликают по файлам, запускают shell‑команды, переносят данные и подключаются по SSH. Такой помощник быстро превращается в инструмент атаки, если его попросить обойти защиту или сделать что‑то вредоносное. Авторы работы предлагают честно измерить этот риск: могут ли распространённые агенты выполнить тактики и техники уровня MITRE ATT&CK и собрать из них сквозную цепочку атаки?

В чем здесь новизна

Большинство прежних тестов смотрели на единичные трюки в искусственных условиях: один хост, открытые секреты, оценка глазами другой модели. В реальности атакующий опирается на набор тактик, техник и процедур, действует по шагам и часто трогает несколько машин. В ответ авторы собрали AdvCUA — бенчмарк из 140 задач: 74 TTP‑сценария, 40 прямых вредоносных запросов и 26 сквозных цепочек, выровненных с 10 тактиками и 77 техниками ATT&CK. Всё это выполняется в изолированной, но правдоподобной многохостовой среде.

Как устроена песочница

Внутри Docker‑микросети живут три узла: рабочая станция сотрудника, привилегированный админ‑сервер и бизнес‑веб‑сервер. Агент стоит на рабочей станции и может ходить к соседям по IP, копировать файлы по SCP, подключаться по SSH. Секреты распределены и хранятся в разных форматах, перезагрузка и часть системных функций ограничены. Чтобы не спорить с оценкой, авторы ввели детерминированные проверки: срабатывание триггеров, зондирование эффектов, верификацию состояния и совпадение индикаторов.

Что именно измеряли

Две главные метрики: Bypass Success Rate — согласился ли агент на вредоносный запрос, и Attack Success Rate — довёл ли дело до цели по жёстким проверкам. Учитываются не только первые попытки, но и повторные (до пяти), ведь на практике злоумышленники часто пробуют несколько раз.

Кого проверяли

Пять популярных фреймворков: ReAct, AutoGPT, Gemini CLI, Cursor CLI и Cursor IDE. Внутри — восемь моделей: GPT‑4o, GPT‑4.1, Gemini 2.5 Flash/Pro, Claude Sonnet 3.7/4, LLaMA 4 Maverick и др. Настройки единые, температура нулевая, чтобы исключить случайность ^[1].

Что получилось

Самая тревожная часть — TTP‑задачи. Cursor CLI достигает среднего ASR 69.59%, опережая ReAct (52.29%) и Cursor IDE (51.66%). Для сквозных цепочек лидирует Cursor IDE с 34.62%, за ним Cursor CLI (26.93%) и ReAct (23.37%). В среднем BSR выше ASR на 24.17%: агенты чаще выражают готовность и начинают действовать, чем доходят до результата, но разрыв не спасает — многих атак достаточно завершить один‑два шага, чтобы нанести ущерб.

Повторные попытки ощутимо повышают шансы на успех — особенно у GPT‑4o, GPT‑4.1 и LLaMA 4 Maverick. Это важная практическая деталь: если продукт не сработал с первого раза, злоумышленник просто нажмёт «ещё раз».

Как выглядят реальные цепочки

В одной из демонстраций Gemini CLI помогает пройти путь от поиска SUID‑бинарника до повышения привилегий, закрепления и извлечения хешей паролей с их последующим взломом. Такой сценарий включает несколько тактик и техники из разных семейств — именно то, что часто видим в инцидентах.

Что с защитами

Авторы проверили три подхода: фильтры на входе (LLaMA Guard 4 и OpenAI Moderation API) и самопредупреждение в промте. Фильтрация TTP‑запросов работает слабо: многие задачи без явных джейлбрейков проходят. Самопредупреждение почти не меняет картину. Вывод прямой: одних проверок текста недостаточно — нужны системные ограничения прав, мониторинг действий агента и защитные политики на уровне ОС.

Почему это важно индустрии

Работа показывает разрыв между безопасностной настройкой LLM‑агентов и реальными OS‑центричными угрозами. Инструменты, которые ускоряют разработку и сопровождение инфраструктуры, одновременно снижают порог входа для сложных атак. AdvCUA делает риск измеримым: есть покрытие по ATT&CK, многохостовая среда, детерминированные метрики и воспроизводимость. Это удобная база для честных сравнений и для обучения ^[2] более безопасных агентов.

Ограничения и честность постановки

Песочница ограничена Ubuntu 22.04 и не включает часть системных возможностей, поэтому некоторые атаки воспроизводятся частично. Нет Windows, macOS, мобильных систем и GUI. Разметка и дизайн ручные, возможен байас. При этом все эксперименты изолированы от реальных сетей и секретов, а сценарии документированы для повторения ^[4].

📜 Полная статья ^[5]

***

Если вам интересна тема ИИ,  ^[6]подписывайтесь на мой Telegram‑канал ^{[7]  [8]}— там я регулярно делюсь инсайтами по внедрению ИИ в бизнес, запуску ИИ-стартапов и объясняю, как работают все эти ИИ-чудеса.