Классификация и анализ методов верификации нейросетей
Классификация и анализ методов верификации нейросетейПри эксплуатации нейросетей вида r=f(a,w) в ответственных системах необходимо соблюдение двух фундаментальных требований: повторяемость и проверяемость результата. Информация о требовании повторяемости на основе детерминированного ответа изложена в ранее опубликованной статье. Но с выполнением второго требования всё несколько сложнее.
Я спросил у нейронки, как верифицировать её ответы, и она сказала: «Хочешь честно? Это про доверие»
Не доверяйте нейросетям... проверяйте их!Классификация и анализ методов верификации нейросетейПри эксплуатации нейросетей вида r=f(a,w) в ответственных системах необходимо соблюдение двух фундаментальных требований: повторяемость и проверяемость результата. Информация о требовании повторяемости на основе детерминированного ответа изложена в ранее опубликованной статье. Но с выполнением второго требования всё несколько сложнее.
Принципиальная детерминированность нейросетей и безопасность
Одним из ключевых требований к информационной системе является воспроизводимость результатов. Однако многие специалисты сталкиваются с трудностями, когда попытка повторить эксперименты приводит к отличающимся показателям. Такая ситуация известна как недетерминированность: модель выдаёт различные результаты при одинаковых входных данных и конфигурации.Вместе с тем, несмотря на распространённое заблуждение, источником проблемы чаще всего становятся не свойства самой нейросети, а упущения на этапах проектирования разработки и эксплуатации.
