Как защитить LLM-агентов от gradient-based adversarial attacks-атак: VRF + LoRA подход
Представьте LLM-агента, который читает торговые сигналы из публичных источников, анализирует их и принимает решение покупать/продавать токены. Каждый день он управляет миллионами долларов. Такие агенты встречаются везде: в Discord, Twitter, Telegram, на собственных серверах компаний.Проблема? Как и большинство LLM-систем в production, они работают на открытых моделях - LLaMA, Mistral и т.д.Открытая модель означает одно: атакующий может скачать её веса и локально оптимизировать адверсариальную атаку через градиентный спуск. И самое страшное - найденная атака будет работать на всех инстансах одновременно, независимо от платформы.
Как не нарваться на prompt-injection или зачем нам проверять скиллы?
В прошлой статье говорили про использования LLM хакерами, и обещал как раз продолжение, как защищить свое рабочее пространство, ну в общем, к делу :)
Loop Engineering: 14 шагов от промптера до архитектора систем
Два года работа c AI-агентами для написания кода выглядели одинаково: написать промпт, передать контекст, прочитать дифф, написать следующий промпт. Агент был инструментом, человек держал его за руку от начала до конца. Эта схема устаревает.Loop Engineering: сборка небольшой системы, которая сама находит задачу, передаёт её агенту, проверяет результат, фиксирует, что произошло, и решает, что делать дальше. Систему проектируют один раз, дальше она сама промптит агента.Материал собран из инженерной документации Anthropic, эссе Эдди Османи (Addy Osmani) о loop engineering и недавних замеров продуктивности. Три уровня:
Точно ли агенты безопасны?
Буквально недавно я писал статью по мотивам материала Anthropic - того самого, где опять говорили "джуны больше не нужны".
AI Governance и контроль корпоративных AI-агентов: безопасные подходы для бизнеса в 2026 году
Введение: почему это критично сегодня
Важные изменения в защите информации в России: что нового?
Новый методический документ «Состав и содержание мероприятий и мер по защите информации, содержащейся в информационных системах»: что изменилось в мире защиты информации в России
