- BrainTools - https://www.braintools.ru -

Эксперты предупредили о деградации ИИ‑защиты и предложили способ её контролировать

Средство защиты на машинном обучении [1] хорошо ровно настолько, насколько актуальны данные, на которых его обучили. Инфраструктура меняется постоянно: появляются новые приложения, новые шаблоны поведения [2] пользователей, новые техники атак. Со временем реальная среда перестаёт совпадать с той, на которой модель училась, и качество детектирования падает — растут пропуски угроз и ложные срабатывания.

В этом году мы получили патент на способ, который позволяет обнаруживать такую деградацию и устранять её автоматически (патент на изобретение № 2 867 439 «Способ и система обучения интеллектуального средства защиты информации»).

Разовая проверка — аттестация или тест на исторических данных — фиксирует качество только в момент теста, а ручное дообучение требует времени и специалистов, и всё это время средство защиты работает хуже, чем могло бы. Запатентованный способ закрывает этот разрыв замкнутым циклом «проверка — оценка — дообучение». Авторы изобретения: учредитель нашей компании Валерий Пустарнаков, заместитель технического директора Лидия Виткова, а также сотрудники лаборатории технологий искусственного интеллекта [3] Сергей Чатоян, Никита Бобров и Ирина Меженева.

Интеллектуальное средство защиты (метод применим к системам классов EDR, NDR, XDR, UEBA, SIEM) помещают в тестовую среду, имитирующую автоматизированную систему. Это может быть виртуальная, аппаратная или гибридная среда, вплоть до участка киберполигона, воспроизводящего реальный защищаемый объект с его трафиком и пользовательской активностью. Средство подвергают серии тестовых воздействий, а его отклики оценивают по частным показателям, например своевременности реагирования [4] и устойчивости к ложным срабатываниям.

Частные показатели сводятся в интегральную оценку с помощью функции нелинейной свёртки, а решение о корректировке принимается по пороговому критерию на шкале желательности. Ключевой элемент метода — адресность дообучения: если порог не достигнут, система находит в откликах именно те блоки данных, которые повлияли на провальные показатели, и дообучает модель только на них, а не на всём массиве. Цикл повторяется, пока средство не выйдет на требуемый уровень.

Практический смысл метода — управляемое качество интеллектуальной защиты на всём жизненном цикле: меньше ложных срабатываний без потери полноты детектирования, безопасная отладка в тестовой среде без риска для боевой инфраструктуры и измеримость. Качество защиты перестаёт зависеть от человеческого фактора: оно выражается оценкой с порогом и динамикой, а не экспертным мнением.

«Измеримость важна и для системы доверия к ИИ, которая сейчас формируется в России. По данным Консорциума исследований безопасности технологий ИИ, около 300 информационных систем в регионах уже используют различные технологии ИИ без учёта актуальных рисков и угроз. В сентябре 2025 года Консорциум направил в Минцифры концепцию федерального реестра доверенных решений ИИ на основе риск‑ориентированного отраслевого подхода; реестр рассматривается как репозиторий и полигон тестирования типовых ИИ‑решений для государственных информационных систем», — отметила Лидия Виткова, заместитель технического директора компании «Газинформсервис».

Рабочую группу № 3 Консорциума, которая отвечает за это направление, возглавляет наша компания, лидер группы — Лидия Виткова.

Автор: Gazinformservice

Источник [5]


Сайт-источник BrainTools: https://www.braintools.ru

Путь до страницы источника: https://www.braintools.ru/article/37574

URLs in this post:

[1] обучении: http://www.braintools.ru/article/5125

[2] поведения: http://www.braintools.ru/article/9372

[3] интеллекта: http://www.braintools.ru/article/7605

[4] реагирования: http://www.braintools.ru/article/1549

[5] Источник: https://habr.com/ru/companies/gaz-is/news/1099944/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1099944

www.BrainTools.ru

Rambler's Top100