Атаки на агентные системы и защита данных
Привет, Хабр!Меня зовут Андрей Бирюков. Я — независимый эксперт в области ИТ и ИБ, преподаю в учебных центрах и пишу статьи и книги.Когда ИИ‑агент перестаёт быть просто диалоговой системой и получает права на чтение файлов, отправку писем, вызов API или работу с репозиториями, он становится объектом нового класса угроз.Ошибка превращается в действие, а вредоносная инструкция — в реальный ущерб.В этой статье мы разберём, как устроены атаки на агентные системы, на реальных примерах и без отрыва от технических деталей.Почему ИИ‑агент — особая мишень
Как отправить данные из 1С в нейросеть и получить ответ обратно с настоящими именами и суммами
Почему обычной маскировки недостаточно, зачем нужна обратимость, как сохранить смысл чисел и почему суммы нельзя просто заменить случайными? Написали обработку, которая действительно заменяет персональные и платёжные реквизиты перед отправкой в модель и затем умеет расшифровать ответ обратно.В прошлой статье мы разбирали, как передать копию базы 1С подрядчику без реальных персональных данных.Но есть более локальный сценарий: базу передавать не нужно, а вот отдельную выгрузку хочется отдать нейросети на анализ.Например, попросить:
Киберустойчивость начинается с данных
Как объединить управление данными, ИБ и бизнес-архитектуру в единый контурАвторы: Екатерина Гафиятуллина, менеджер по развитию бизнеса Innostage, и Артём Шмарев, руководитель центра компетенций по управлению данными Юникон Бизнес Солюшнс Данные перестали быть вспомогательным ресурсом для отчётности или аналитики. Сегодня они лежат в основе операционной деятельности организаций, клиентских сервисов, производственных процессов и стратегических решений. Но в то же время данные становятся одной из главных мишеней для кибератак.
Промпт-инъекции в реальных данных, широкие права доступа и другие способы сломать ИИ-агента
Привет, Хабр! На связи команда Jay Guard — платформы, которая помогает безопасно использовать языковые модели и ИИ-агентов.Недавно мы опубликовали статью про ИИ-агента для HR-процессов. В комментариях почти сразу появились вопросы про данные — куда уходят персональные данные, что из этого видит LLM, что пишется в логи (журнал событий) и как все это соотносится с требованиями ИБ, 152-ФЗ и внутренними регламентами.
Innostage выпустила продукт AIDR для защиты корпоративного ИИ от взломов и утечек данных
Компания Innostage выпустила AIDR (Artificial Intelligence Detection & Response) – «Защита ИИ». Продукт для корпоративных больших языковых моделей (LLM) блокирует атаки на ИИ-сервисы, предотвращает утечки данных и встраивает контроль над ИИ в процессы информационной безопасности (ИБ).
Ваши секреты внутри LLM. Куда уходят промпты и чего стоит опасаться?
Каждый раз, когда Вы отправляете часть своего кода в Cursor, Claude Code или скидываете свой отчет для анализа в Gemini или Qwen, где-то в мире грустит один юрист по информационной безопасности. Нейросети — это магия (ну или статистическая закономерность), а кто-то из нас хотя бы раз открывал юридические документы, которые размещены на любимых нами ресурсах?Давайте немного покопаемся в документах крупнейших игроков: OpenAI, Google, Qwen, DeepSeek и, конечно же, в российском GigaChat. И посмотрим, а кто же кроме нас может иметь доступ к нашей информации?Зачем кому-то наши данные?
152-ФЗ и LLM несовместимы по умолчанию: как мы это исправили без потери качества AI
Строим AI-ассистента для бизнеса — и обнаруживаем, что каждое сообщение пользователя с персональными данными уходит в Google. Рассказываю, как это исправить, не сломав UX.Когда мы запускали AI-ассистента для квалификации лидов в строительном бизнесе, первый же вопрос от клиента поставил меня в тупик: «А куда уходят персональные данные, которые люди вводят в чат?»Я знал ответ. И он мне не нравился.Пользователь пишет: «Меня зовут Дмитрий, наша компания ООО Ромашка, телефон +7 903 123-45-67, email dmitriy@company.com»
