OWASP выпустил GenAI Red Teaming Manual v1.0

OWASP 20 октября 2026 года выпустил GenAI Red Teaming Manual v1.0 ^[1]. В документе объёмом 144 страницы описаны восемь этапов испытаний ИИ-моделей, приложений и агентных систем. Руководство охватывает работу от планирования испытаний до проверки эффективности исправлений.

По информации новостной ленты eyeon.ai ^[2], авторы рассматривают безопасность всей системы применения ИИ, а также передачу результатов испытаний специалистам, которые будут обеспечивать её защиту. Один из выводов в переводе звучит так:

Руководство даёт командам тестирования, специалистам по качеству и аудиторам общую методику и показатели для определения объёма проверок ИИ и подготовки отчётов.

Итак, кажется, главная ценность нового документа – подробная методика проведения испытаний, а также способы проверить достоверность полученных результатов. Это может быть интересно и специалистам, которые занимаются испытаниями, и заказчикам, которые хотят понимать, насколько надёжно отработала команда тестирования: что она проверила, какие выводы сделала и на чём они основаны.

Характерно, что все последние руководства и гайды выходят с обязательной привязкой к бизнес-рискам. Странно было бы ожидать иного: бизнес всё ещё до конца не разобрался, какую ценность приносит ИИ. При этом всё настойчивее звучат вопросы: к каким последствиям для бизнеса могут привести ошибки ^[3] ИИ и достаточно ли испытаний, чтобы оценить эти последствия?

И снова этот вечный вопрос: как убедить большого босса? В данном случае надо решать, разрешить ли системе работать с реальными данными и какие полномочия предоставить агентам.

Теперь несколько комментариев к самому документу. В январе 2025 года OWASP уже выпустил GenAI Red Teaming Guide ^[4] на 77 страницах. Новому Manual предшествовало публичное обсуждение: участники разработки собирали замечания к проекту ^[5].

В методике подробно разобрано, как проверить, выполняет ли агент поручения пользователя. ИИ-агент может работать с ограниченными правами и при этом делать совсем не то, что от него ожидалось. Тут мы снова возвращаемся к бизнес-контексту: прежде чем проверять агента, придётся определить и зафиксировать, что ему вообще поручали и где она, или разумная, или хотя бы честная граница наших ожиданий от ИИ. Дальше – больше: оцениваются многоэтажные агентные среды, в которых нужно проверить передачу полномочий, разрешения и влияние сохранённой памяти ^[6] на последующие действия.

Авторы также предлагают проверять, насколько надёжно оцениваются результаты испытаний. Получается ещё одна петля обратной связи – оценка оценщика. Человек, программа или модель, которые выносят вердикт, тоже могут ошибаться. Для количественных результатов рассматриваются доверительные интервалы и ограничения выводов: если в проведённой серии атак никто не добился успеха, это пока только факт неудачи Red Team, который сам по себе неплох, но ничего не гарантирует.

Как говорится, поживём – увидим. Может быть, у нас появятся свои гайды, может быть, и другие уважаемые организации тоже выпустят что-то полезное. Тем не менее этот документ – ещё один вклад в безопасность нового мира, который уже наступил и в котором искусственный интеллект ^[7] стал неотъемлемой частью технологической ткани новой реальности.