ИИ-агент как цифровой сотрудник: где возникают риски и как их ограничить
ИИ-ассистенты все чаще действуют от имени пользователя: работают с почтой, CRM, документами и API. Фактически это новый тип цифрового сотрудника с доступом к информации и возможностью принимать решения. Поэтому ошибка такого агента – это уже не просто неверный ответ, а реальная утечка данных, изменение записей в системе или отправка информации не тому адресату. Кроме того, в догонялки с индустрией играют регуляторная теория и практика.
Источники сбора угроз ИБ для систем ИИ
Президент и главный исполнительный директор Nvidia Дженсен Хуанг день выхода GhatGPT называет «iPhone moment of AI». Это событие произошло 30 ноября 2022 года, а уже в январе следующего года сервис ежемесячно насчитывал 100 миллионов активных пользователей.За несколько лет технологии ИИ заслужили популярность в том числе и среди компаний – согласно отчёту McKinsey в 2025 году 88% компаний заявляли об использовании ИИ хотя бы в одной бизнес-функции.
ML Red Teaming для LLM: можно ли обойтись open source-инструментами?
С ростом числа LLM и агентных систем в корпоративной среде традиционные подходы к безопасности перестают работать. Уязвимости теперь живут не только в коде, а в промптах, памяти агентов, RAG-контексте и вероятностном поведении самих моделей.ML Red Teaming (AI Red Teaming)
Влияние ИИ на кибербезопасность: MITRE ATLAS и новый ландшафт угроз
Сегодня искусственный интеллект кардинально меняет как подходы к защите, так и методы атак. С развитием технологий ИИ-модели могут обрабатывать и анализировать огромные объемы данных в реальном времени. Это активно использует не только бизнес, но и злоумышленники. По данным различных аналитических центров, количество инцидентов, связанных с атаками на ИИ, выросло в несколько раз за последние два года. Мы стоим на пороге новой гонки вооружений, где щитом и мечом выступают алгоритмы машинного обучения.
OpenClaw (бывший Clawbot) Prompt Worms Часть 2: Я проверил на практике — 31 уязвимость в экосистеме AI-агента
Prompt Worms Часть 2: Я проверил на практике — 31 уязвимость в экосистеме AI-агентаЭто продолжение статьи «Prompt Worms: Как агенты стали новыми переносчиками вирусов». В первой части мы разобрали теорию: Lethal Trifecta, Persistent Memory, цепочки заражения через Moltbook. OpenClaw был назван «идеальным носителем». В этой части я проверил, насколько «идеальным» он является на самом деле — залез в исходники, прощупал инфраструктуру, нашёл экосистемный SaaS в их маркетплейсе и обнаружил, что их собственная threat model покрывает лишь 70% реальной attack surface.
