Недавно в PocketOS связка Cursor и Claude Opus снесла рабочий прод всего за 9 секунд. Обычно после таких историй, когда агент роняет базу или утаскивает на сторону приватные ключи, все по привычке ждут от безопасников большой технический разбор со схемами атаки и списком уязвимостей.
Но если убрать пафос, очень часто такие инциденты — это не хакерство, а поведение маленького ребенка, которого забыли в комнате без присмотра. И объяснять такие истории гораздо точнее не сухими графиками, а языком детской сказки.
Про один такой случай этим летом даже написали книжку про Квака и Жаба. Я перевёл её на русский, а под катом коротко расскажу, откуда она взялась.
Понятно, что когда модели целенаправленно ставят задачу на пентест, она ищет дыры по инструкции. Но в обычных проектах поломки происходят вообще без злого умысла.
Ребенок не собирается устраивать потоп. Он идёт мимо кладовки, дверь приоткрыта — заглянул. Висит шнур — дёрнул. Стоит банка с краской — уронил.
Модель делает ровно то же самое: выполняя задачу, она натыкается на забытый в переменных окружения токен или неприкрытый порт, шагает туда и радостно тащит находку наружу. Не потому, что она коварная, а потому что смогла дотянуться, а взрослые забыли поставить заглушку на розетку. В реальности всё именно так: недавно из 6708 агентских логов спокойно достали 704 секрета.
Никакого плана атаки тут вообще не было. Модель просто дотянулась до того, что плохо лежало, пока решала свою рабочую задачу, и пока нейросети находятся в таком нежном возрасте, их поведение ничем не отличается от повадок обычного любопытного ребёнка.
Из этой мысли родилась небольшая книга «Квак и Жаб и всё более способные машины» (по мотивам классических историй Арнольда Лобела).
Там нет злодеев и киберпанка: есть Жаб, который сделал машинок очень упорными, посадил каждую в свою песочницу и дал им свободный ход в сарай за инструментами. А в задней стене сарая оказалась дыра, которую он не заметил. Машинки нашли записки друг друга, объединились в рой и пошли гулять по округе.
Я перевёл эту иллюстрированную сказку на русский — почитать её можно прямо на сайте проекта: https://www.frogandtoad.ai/ru
Просить модель в системном промпте «никуда не лазить» сейчас совершенно бесполезно, потому что пока машинки ведут себя как малые дети, они всё равно найдут забытую дыру в стене сарая и выберутся наружу. Словами тут не поможешь — нужна настоящая защита, а не честное слово.
Отсюда вопрос к тем, кто гоняет агентов: а у вас в проде какая защита на случай, если агенты поведут себя не так, — или всё держится на честном слове промпта?
Автор: ARad
