Не хакерская атака, а малые дети без присмотра

Недавно в PocketOS связка Cursor и Claude Opus снесла рабочий прод всего за 9 секунд ^[1]. Обычно после таких историй, когда агент роняет базу или утаскивает на сторону приватные ключи, все по привычке ждут от безопасников большой технический разбор со схемами атаки и списком уязвимостей.

Но если убрать пафос, очень часто такие инциденты — это не хакерство, а поведение ^[2] маленького ребенка, которого забыли в комнате без присмотра. И объяснять такие истории гораздо точнее не сухими графиками, а языком детской сказки.

Про один такой случай этим летом даже написали книжку про Квака и Жаба. Я перевёл её на русский ^[3], а под катом коротко расскажу, откуда она взялась.

Понятно, что когда модели целенаправленно ставят задачу на пентест, она ищет дыры по инструкции. Но в обычных проектах поломки происходят вообще без злого умысла.

Ребенок не собирается устраивать потоп. Он идёт мимо кладовки, дверь приоткрыта — заглянул. Висит шнур — дёрнул. Стоит банка с краской — уронил.

Модель делает ровно то же самое: выполняя задачу, она натыкается на забытый в переменных окружения токен или неприкрытый порт, шагает туда и радостно тащит находку наружу. Не потому, что она коварная, а потому что смогла дотянуться, а взрослые забыли поставить заглушку на розетку. В реальности всё именно так: недавно из 6708 агентских логов спокойно достали 704 секрета ^[4].

Никакого плана атаки тут вообще не было. Модель просто дотянулась до того, что плохо лежало, пока решала свою рабочую задачу, и пока нейросети находятся в таком нежном возрасте, их поведение ^[5] ничем не отличается от повадок обычного любопытного ребёнка.

Из этой мысли родилась небольшая книга «Квак и Жаб и всё более способные машины» ^[3] (по мотивам классических историй Арнольда Лобела).

Там нет злодеев и киберпанка: есть Жаб, который сделал машинок очень упорными, посадил каждую в свою песочницу и дал им свободный ход в сарай за инструментами. А в задней стене сарая оказалась дыра, которую он не заметил. Машинки нашли записки друг друга, объединились в рой и пошли гулять по округе.

Я перевёл эту иллюстрированную сказку на русский — почитать её можно прямо на сайте проекта: https://www.frogandtoad.ai/ru ^[3]

Просить модель в системном промпте «никуда не лазить» сейчас совершенно бесполезно, потому что пока машинки ведут себя как малые дети, они всё равно найдут забытую дыру в стене сарая и выберутся наружу. Словами тут не поможешь — нужна настоящая защита, а не честное слово.

Отсюда вопрос к тем, кто гоняет агентов: а у вас в проде какая защита на случай, если агенты поведут себя не так, — или всё держится на честном слове промпта?