«Переиграл и уничтожил»: занимательные исследования промпт-атак
Недавно в блоге Beeline Cloud мы рассказывали про open source-проекты, которые могут помочь с разработкой ИИ-агентов. Сегодня посмотрим на тему ИИ-агентов с другой стороны и разберем свежие исследования, посвященные промпт-атакам — их авторы рассматривают новые способы обхода встроенных фильтров, ищут слабые места в генерации ответов и подбирают особые формулировки, призванные сбить LLM с толку.
