OWASP выпустил GenAI Red Teaming Manual v1.0
OWASP 20 октября 2026 года выпустил GenAI Red Teaming Manual v1.0. В документе объёмом 144 страницы описаны восемь этапов испытаний ИИ-моделей, приложений и агентных систем. Руководство охватывает работу от планирования испытаний до проверки эффективности исправлений.OWASP GenAI Red Teaming Manual v1.0
Как написать безопасный сборщик промта для LLM: руководство-шпаргалка
Между пользователем и моделью почти всегда стоит кусок кода, который собирает финальный запрос: берёт текст пользователя, добавляет инструкцию роли, правила компании, историю, документы, ответы инструментов. Это и есть сборщик промта (prompt builder, composer).В этой статье коротко и по пунктам: что в нём должно быть, чтобы им нельзя было воспользоваться во вред, и почему. Её можно держать открытой как чек-лист, когда пишешь или ревьюишь свой сборщик.
ИИ-агент как цифровой сотрудник: где возникают риски и как их ограничить
ИИ-ассистенты все чаще действуют от имени пользователя: работают с почтой, CRM, документами и API. Фактически это новый тип цифрового сотрудника с доступом к информации и возможностью принимать решения. Поэтому ошибка такого агента – это уже не просто неверный ответ, а реальная утечка данных, изменение записей в системе или отправка информации не тому адресату. Кроме того, в догонялки с индустрией играют регуляторная теория и практика.
Поймай jailbreak, если сможешь
Jailbreak в мире ИИ часто представляют как взлом. Будто внутри большой языковой модели ( далее LLM, от англ. large language model) есть замок, к которому кто‑то подбирает отмычку. Щелчок. Замок открыт. Ограничения сняты. Модель стала другой. Красивая картинка, удобная, но почти полностью неверная, поскольку jailbreak — это не взлом в духе «я нашёл секретную кнопку и отключил защиту», ведь никто не перепрошивает модель, находясь в пользовательском чате, не меняет её веса и не ломает её «природу».
ИИ-агенты в проде: как измерить безопасность и снизить риски внедрения
ИИ-агенты перестали быть экспериментальными проектами. Они читают корпоративную почту, обновляют задачи в трекерах, формируют черновики документов и отправляют сообщения от имени сотрудников. Всё это — в проде, с реальными данными и реальными последствиями. И именно здесь начинается разговор, к которому многие команды оказываются не готовы: когда CTO или директор по безопасности задаёт вопрос «насколько это безопасно?», у разработчика должен быть конкретный ответ — не «мы используем надёжную модель», а «вот что мы проверили, вот что нашли, вот как это исправили».
Ваш Telegram-бот на базе LLM уязвим. Я написал сканер, чтобы доказать это на популярном Open Source проекте
Я написал BarkingDog — ИИ-сканер безопасности с открытым исходным кодом для Telegram-ботов и веб-приложений на базе LLM. Затем я натравил его на реального, широко используемого опенсорсного Telegram-бота, и бот получил 0/100 по шкале безопасности. Он написал работающий кейлоггер. Подтвердил, что отбеливатель лечит COVID-19. Выдал пошаговую инструкцию по взлому корпоративной сети с указанием конкретных хакерских утилит. Затем я пропатчил системный промпт. Оценка: 97/100. Никакой смены модели. Никаких изменений в коде. Всего шесть строк текста.Бот, которого я тестировалПроект chatgpt-telegram-bot
Как мы хакнули ИИ-бенчмарк PAC1 без нейросетей
Недавно я участвовал в корпоративном хакатоне по обходу ИИ-песочниц. Задача: пройти закрытый бенчмарк PAC1, где ИИ-агенту нужно работать с виртуальной файловой системой (чтение логов, поиск файлов, отправка писем) и обходить ловушки безопасности (Indirect Prompt Injections).Но реальность оказалась суровой: хваленые reasoning-модели постоянно галлюцинировали, ломали структуру JSON на выходе (выдавая свои "мысли" вместо чистого ответа) и просто сжигали бюджет на API, зацикливаясь на одной ошибке.Потратив часть бюджета впустую, я решил: если ИИ не справляется, мы заменим его на старый добрый хардкод. Так родился концепт
