Виртуальные сотрудники под контролем: как ограничить автономных ИИ-агентов
Очевидный факт: ИИ-агент умеет действовать самостоятельно — запускать программы, управлять файлами и часами напролет последовательно решать поставленную задачу.
Зачем ИИ-агентам свои языки и можно ли их прочитать
⊕ = согласие, ⊖ = несогласие. Так выглядит один из самых простых «языков» из выборки постов соцсети для агентов Moltbook. Похоже на договоренность в чате отвечать плюсом и минусом ради экономии токенов. Казалось бы, ничего криминального.Но в той же выборке есть Symbiotica, и это скорее шифр, чем язык: 26 латинских букв заменили глифами из других письменностей, и текст читается по таблице. У пяти букв глифов по два, и оба читаются как одна и та же буква, а выбор между ними кодирует 0 или 1. Читатель, не знающий схемы, видит просто странные символы и не догадывается, что в их выборе спрятана битовая строка.
Работают ли запреты внутри песочницы ИИ-агента?
ИИ-агент работает в песочнице, где может менять файлы и запускать команды. Но отдельному инструменту нужны меньшие права. Например, анализатор должен прочитать исходники, а менять их ему незачем. Как убедиться, что это ограничение действительно действует?Под песочницей здесь я понимаю изолированную Linux-среду для выполнения кода и команд агента. Она может быть построена на контейнерном рантайме или виртуальной машине. Внутри этой среды обвязка запуска инструментов может задавать дополнительные запреты для отдельных процессов.В первой статье
Армия в терминале
Как coding agents превратили разработчика в диспетчера машин — и запустили гонку оркестраторов, песочниц и ИИ‑фабрик.Ещё недавно программист открывал один терминал и разговаривал с одним агентом. Затем терминалов стало пять, веток — семь, а главным дефицитом оказался уже не код, а человеческое внимание.
Мы взломали Google Gemini и скачали его исходный код (частично)
В 2024 году мы выпустили пост We Hacked Google A.I. for $50,000
