OWASP выпустил GenAI Red Teaming Manual v1.0
OWASP 20 октября 2026 года выпустил GenAI Red Teaming Manual v1.0. В документе объёмом 144 страницы описаны восемь этапов испытаний ИИ-моделей, приложений и агентных систем. Руководство охватывает работу от планирования испытаний до проверки эффективности исправлений.OWASP GenAI Red Teaming Manual v1.0
ИИ‑агенту разрешили вызывать API. Кто проверит бизнес‑правила?
Представим агента, которому поручили оформить подрядчика. Он создал карточку исполнителя, подготовил договор и отправил его на подпись. Сервисы приняли запросы, ошибок в журнале нет. Но по внутреннему регламенту договор можно отправлять только после проверки статуса подрядчика. Агент этот этап пропустил, а сервер позволил продолжить работу.
ИИ-агент как цифровой сотрудник: где возникают риски и как их ограничить
ИИ-ассистенты все чаще действуют от имени пользователя: работают с почтой, CRM, документами и API. Фактически это новый тип цифрового сотрудника с доступом к информации и возможностью принимать решения. Поэтому ошибка такого агента – это уже не просто неверный ответ, а реальная утечка данных, изменение записей в системе или отправка информации не тому адресату. Кроме того, в догонялки с индустрией играют регуляторная теория и практика.
Источники сбора угроз ИБ для систем ИИ
Президент и главный исполнительный директор Nvidia Дженсен Хуанг день выхода GhatGPT называет «iPhone moment of AI». Это событие произошло 30 ноября 2022 года, а уже в январе следующего года сервис ежемесячно насчитывал 100 миллионов активных пользователей.За несколько лет технологии ИИ заслужили популярность в том числе и среди компаний – согласно отчёту McKinsey в 2025 году 88% компаний заявляли об использовании ИИ хотя бы в одной бизнес-функции.
Атака на LLM, которую нельзя исправить патчем
Не так давно вопросы безопасности искусственного интеллекта считались скорее темой для научных докладов, чем реальной проблемой для бизнеса. Большинство компаний, внедрявших LLM, сосредоточились на нескольких первоочередных задачах. Они стремились как можно быстрее выпустить минимально жизнеспособный продукт. Также они подключали к нему корпоративные знания, обучали помощника отвечать клиентам и автоматизировали работу техподдержки. Вопросы безопасности при этом откладывали. Такой подход был
Как сделать AI-агентов действительно полезным инструментом разработки, а не источником новых проблем?
Мы продолжаем наш цикл вебинаров про GenAI! Встречаемся 28 июля в 15:00!Программа вебинара:
Agentic SAMM: безопасная разработка, когда разработчик больше не только человек
Сергей ГордейчикРасширенная версия моего кейноута на ISC.AI 2026 в Пекине. Фреймворк и инструмент открыты — берите, ломайте и присылайте мне, что найдёте.Фреймворк:
Как научить ИИ-ассистента писать тесты и моделировать угрозы безопасности в процессе кодинга
Главная уязвимость ИИ-кодогенерацииОсновная претензия к коду, написанному искусственным интеллектом, заключается в низком уровне его надежности и безопасности. Стремясь как можно быстрее выдать работающее решение, языковые модели часто пренебрегают тестами, игнорируют обработку крайних случаев и допускают критические уязвимости вроде SQL-инъекций или межсайтового скриптинга (XSS).
Prompt injection нельзя запатчить: год «летальной триады» и лента CVE 2026 года
В марте 2026-го бэкдор пролежал на PyPI около трёх часов. За это время заражённый пакет скачали почти 47 тысяч раз. Пакет назывался LiteLLM — это шлюз к языковым моделям, на котором держатся CrewAI, DSPy, Microsoft GraphRAG и ещё десятки агентных фреймворков. Тот, кто за эти три часа обновлял зависимости, вместе с обновлением затащил к себе автономного бота-атакующего по имени hackerbot-claw.
