Как Red Teaming и человеческий креатив позволяют оценить риски внедрения LLM в бизнес-процессы
В кибербезопасности существует подход под названием Red Teaming — когда одна команда имитирует атакующего, а другая защищает систему. С появлением больших языковых моделей тот же принцип стал применяться к ИИ. Только теперь атакуют не серверы и базы данных, а сами LLM-агенты — системы, которые умеют рассуждать, выполнять команды и взаимодействовать с внешними инструментами. Red Team здесь ищет способы выявить уязвимости и подсветить риски модели, а Blue Team — защитить её. Именно на стыке этих подходов возникла новая область — Red Teaming LLM-агентов, где тестирование превращается в исследование границ самого искусственного интеллекта.
OpenClaw (бывший Clawbot) Prompt Worms Часть 2: Я проверил на практике — 31 уязвимость в экосистеме AI-агента
Prompt Worms Часть 2: Я проверил на практике — 31 уязвимость в экосистеме AI-агентаЭто продолжение статьи «Prompt Worms: Как агенты стали новыми переносчиками вирусов». В первой части мы разобрали теорию: Lethal Trifecta, Persistent Memory, цепочки заражения через Moltbook. OpenClaw был назван «идеальным носителем». В этой части я проверил, насколько «идеальным» он является на самом деле — залез в исходники, прощупал инфраструктуру, нашёл экосистемный SaaS в их маркетплейсе и обнаружил, что их собственная threat model покрывает лишь 70% реальной attack surface.
Prompt Worms: Как агенты стали новыми переносчиками вирусов
Когда ИИ получает доступ к данным, читает чужой контент и может отправлять сообщения — это уже не инструмент. Это вектор атаки.В январе 2026 года исследователь Gal Nagli из Wiz обнаружил, что база данных социальной сети для ИИ-агентов Moltbook была полностью открыта. 1.5 миллиона API-ключей, 35 тысяч email-адресов, приватные сообщения между агентами — и полный доступ на запись ко всем постам платформы.Но самое страшное было не в утечке. Самое страшное — что любой мог внедрить prompt injection во все посты, которые читают сотни тысяч агентов каждые 4 часа.Добро пожаловать в эпоху Prompt Worms.От Morris Worm к Morris-II
Исследование уязвимостей LLM-агентов: опыт Red Teaming
Привет, Хабр!Сначала об определениях. LLM Red teaming — практика тестирования больших языковых моделей (например, GPT), направленная на выявление уязвимостей, нежелательного поведения и способов их взлома (jailbreak). Суть в том, чтобы через специальные подсказки или методы обойти защитные механизмы и ограничения LLM.
Security-RAG или как сделать AI Security tool на коленке
ЗатравочкаLLM-ки и LLM-агенты продолжают наводить шум. статьи про то как сделать очередной RAG или Агента продолжают клепаться (да блин даже мы одна из этих статей), huggingface выпускают smolagents, квантизация позволяет дойти LLM-кам до простых работяг и обывателей, давая им возможность в них потыкаться в той же LM studio или других приложениях.
Обзор уязвимостей для LLM. Часть 2. Защита
В первой части статьи мы разобрали, что такое безопасность в контексте нейросетей, и чем safety отличается от security. Во второй части посмотрим, как защищаться от этих и других видов уязвимостей.Привет, Хабр! Меня зовут Евгений Кокуйкин и я — руководитель AI-продуктов в Raft. Запускаю лабораторию AI Security в AI Talent Hub/ИТМО и пишу про безопасность ИИ на собственном телеграм-канале.
