Компания Innostage выпустила AIDR (Artificial Intelligence Detection & Response) – «Защита ИИ». Продукт для корпоративных больших языковых моделей (LLM) блокирует атаки на ИИ-сервисы, предотвращает утечки данных и встраивает контроль над ИИ в процессы информационной безопасности (ИБ).
Корпоративные ИИ-сервисы всё чаще используют в рабочих процессах: при подготовке документов, анализе данных, работе с кодом, внутренней аналитикой и клиентскими запросами. В таких сценариях для информационной безопасности важно контролировать не только доступ к ИИ-приложению, но и сам диалог с моделью: какие данные попадают в запрос, какие инструкции получает LLM и какой ответ возвращается пользователю.
При этом традиционные средства защиты не всегда дают детальную видимость того, что происходит внутри взаимодействия с моделью. Из-за этого у команды безопасности может появляться зона риска, которую сложно расследовать без отдельного контроля запросов, ответов и событий ИИ.
Innostage AIDR работает как прозрачный прокси между пользовательским ИИ-приложением и языковой моделью. Продукт фильтрует входящие запросы до передачи в LLM и блокирует попытки внедрения вредоносных инструкций в запрос к модели (prompt injection), а также обхода ограничений модели (jailbreak). Исходящие ответы проверяются на наличие персональных данных, коммерческой тайны, конфиденциальной и другой критичной информации. Дополнительно Innostage AIDR контролирует тематику, тональность и токсичность ответов. В сценариях разработки продукт помогает контролировать работу с LLM: выявляет и маскирует секреты в запросах, включая логины, пароли и токены, снижая риск их передачи в модель. События безопасности передаются в SIEM-систему с уровнем критичности.
«Когда компания внедряет ИИ в рабочие процессы, она создает новый контур работы с данными. Задача не в том, чтобы ограничить использование ИИ, а в том, чтобы дать команде безопасности понятные точки контроля там, где риск возникает в самом диалоге пользователя с моделью. AIDR помогает сделать этот контур управляемым для ИБ», – отметил Айдар Фатыхов, владелец продукта Innostage AIDR.
Для организаций, на которые распространяются требования ФСТЭК России, Innostage AIDR также может выступать технологической основой защиты ИИ-систем в части реализации мер по фильтрации и контролю входных и выходных данных, а также регистрации событий безопасности.
Автор: Innostage
