ИИ-агент как цифровой сотрудник: где возникают риски и как их ограничить
ИИ-ассистенты все чаще действуют от имени пользователя: работают с почтой, CRM, документами и API. Фактически это новый тип цифрового сотрудника с доступом к информации и возможностью принимать решения. Поэтому ошибка такого агента – это уже не просто неверный ответ, а реальная утечка данных, изменение записей в системе или отправка информации не тому адресату. Кроме того, в догонялки с индустрией играют регуляторная теория и практика.
Источники сбора угроз ИБ для систем ИИ
Президент и главный исполнительный директор Nvidia Дженсен Хуанг день выхода GhatGPT называет «iPhone moment of AI». Это событие произошло 30 ноября 2022 года, а уже в январе следующего года сервис ежемесячно насчитывал 100 миллионов активных пользователей.За несколько лет технологии ИИ заслужили популярность в том числе и среди компаний – согласно отчёту McKinsey в 2025 году 88% компаний заявляли об использовании ИИ хотя бы в одной бизнес-функции.
Атака на LLM, которую нельзя исправить патчем
Не так давно вопросы безопасности искусственного интеллекта считались скорее темой для научных докладов, чем реальной проблемой для бизнеса. Большинство компаний, внедрявших LLM, сосредоточились на нескольких первоочередных задачах. Они стремились как можно быстрее выпустить минимально жизнеспособный продукт. Также они подключали к нему корпоративные знания, обучали помощника отвечать клиентам и автоматизировали работу техподдержки. Вопросы безопасности при этом откладывали. Такой подход был
Как сделать AI-агентов действительно полезным инструментом разработки, а не источником новых проблем?
Мы продолжаем наш цикл вебинаров про GenAI! Встречаемся 28 июля в 15:00!Программа вебинара:
Agentic SAMM: безопасная разработка, когда разработчик больше не только человек
Сергей ГордейчикРасширенная версия моего кейноута на ISC.AI 2026 в Пекине. Фреймворк и инструмент открыты — берите, ломайте и присылайте мне, что найдёте.Фреймворк:
Как научить ИИ-ассистента писать тесты и моделировать угрозы безопасности в процессе кодинга
Главная уязвимость ИИ-кодогенерацииОсновная претензия к коду, написанному искусственным интеллектом, заключается в низком уровне его надежности и безопасности. Стремясь как можно быстрее выдать работающее решение, языковые модели часто пренебрегают тестами, игнорируют обработку крайних случаев и допускают критические уязвимости вроде SQL-инъекций или межсайтового скриптинга (XSS).
Prompt injection нельзя запатчить: год «летальной триады» и лента CVE 2026 года
В марте 2026-го бэкдор пролежал на PyPI около трёх часов. За это время заражённый пакет скачали почти 47 тысяч раз. Пакет назывался LiteLLM — это шлюз к языковым моделям, на котором держатся CrewAI, DSPy, Microsoft GraphRAG и ещё десятки агентных фреймворков. Тот, кто за эти три часа обновлял зависимости, вместе с обновлением затащил к себе автономного бота-атакующего по имени hackerbot-claw.
А сейчас я покажу, откуда на вайбкод готовилось нападение
Часть 1 — С чего всё началось (и немного теории)Введение
Вайбкод и безопасность: как не задеплоить уязвимости вместе с фичами
Часть 1 — С чего всё началось (и немного теории)Введение
GenAI Exploit Round-up Report Q1 2026
Консорциум OWASP выпустил GenAI Exploit Round-up Report Q1 2026 — и это, пожалуй, один из самых показательных материалов о том, как быстро ИИ-риски перешли из теории в практику. В отчёт вошли инциденты за период с 1 января по 11 апреля 2026 года, а сам документ вышел 14 апреля 2026 года. Авторы собрали 8 заметных кейсов и прямо фиксируют сдвиг: главная проблема уже не только в «неправильных ответах» моделей, а в идентичностях агентов, оркестрации, правах доступа и уязвимостях цепочки поставок.
