Проблема несанкционированного вызова инструментов
Доверили бы вы LLM управление контролем доступа? Крупные лаборатории ИИ (Anthropic, xAI, Gemini), похоже, делают именно это, используя механизм вызова инструментов.
Защита агентных приложений по OWASP Agentic Top 10 и модели Trifecta
Все мы знаем, что агентные системы давно не просто "чат-боты 2.0". Это уже полноценные приложения, которые:планируютвыполняют сложные цепочки действийвызывают инструменты (API/FS/shell/browser)хранят и используют память (RAG/long-term)общаются с другими агентамиНо делают все эти действия со скрытыми "побочными эффектами"
Почему промпт-инъекции — это симптом, а не болезнь безопасности ИИ
Что вы представляете, когда кто-то говорит об AI-driven компании? Может быть, как чат-боты улучшают опыт клиентов? Или как сотрудники разворачивают любые модели для своих нужд? А может, как ИИ-агенты разбирают кучу электронных писем и назначают встречи в календаре, копилоты пишут код за разработчиков и исправляют баги? Что в этой красивой истории может пойти не так и почему безопасность систем искусственного интеллекта не ограничивается защитой от джейлбрейков и промпт-инъекций – разберёмся в этой статье.
Исследование: AI-автопилоты на базе LVLM можно обмануть с помощью промпт-инъекций
Исследователи из Калифорнийского университета в Санта-Крузе показали, что большие визуально языковые модели (LVLM) в системах автопилота уязвимы перед промпт-инъекциями. Для «взлома» системы достаточно показать табличку с текстом нужной команды.
Тёмная сторона искусственного интеллекта: угрозы, реальные атаки и защита
Искусственный интеллект уже давно перестал быть исключительно инструментом добра. Он помогает врачам ставить диагнозы и разработчикам писать код. Но теми же самыми возможностями всё чаще пользуются злоумышленники. При этом барьер входа в кибератаки резко снизился: чтобы создать вредоносную кампанию, больше не нужно быть тёмным хакером со знанием всевозможных языков программирования. Достаточно пары нейросетевых сервисов и минимального понимания, как устроена социальная инженерия.
Исследователи с помощью промпт-инъекций заставили агента ChatGPT решать CAPTCHA
Специалисты компании автоматизированного тестирования ИИ-решений SPLX показали, как им удалось с помощью промпт-инъекций обойти защиту агента ChatGPT и заставить его решать CAPTCHA.
Браузер Comet AI от Perplexity обманным путём заставили покупать поддельные товары онлайн
Исследование, посвящённое браузерам с агентным ИИ, показало, что новые инструменты уязвимы как для новых, так и для старых схем атак. Так, ИИ-браузер Comet от Perplexity оказался уязвим для фишинга, внедрения вредоносных подсказок и покупок в поддельных магазинах.
Яндекс.Полуразврат или при чём тут Crypt?
Новый Шедеврум, но со старыми болячками
