Принципиальная детерминированность нейросетей и безопасность

Одним из ключевых требований к информационной системе является воспроизводимость результатов. Однако многие специалисты сталкиваются с трудностями, когда попытка повторить эксперименты приводит к отличающимся показателям. Такая ситуация известна как недетерминированность: модель выдаёт различные результаты при одинаковых входных данных и конфигурации.

Вместе с тем, несмотря на распространённое заблуждение, источником проблемы чаще всего становятся не свойства самой нейросети, а упущения на этапах проектирования разработки и эксплуатации. 

Меня зовут Черкас Руслан. Я архитектор в СберЗдоровье — МедТех-компании №1 ^[1] в России. По роду деятельности я часто сталкиваюсь с утверждениями о принципиальной недетерминированности нейросетей. И в этой статье хочу опровергнуть заблуждения, с которыми сталкиваюсь чаще всего.

Примечание: За основу статьи взяты мои наработки, с которыми можно ознакомиться по ссылке ^[2]. 

Что такое детерминированность

Детерминированностью называется свойство системы, при котором одно и то же состояние входа (например, совокупность начальных данных и параметров модели) порождает каждый раз одно и то же выходное значение. Применительно к нейросетям это означает следующее: если мы имеем фиксированный вектор входных данных (a), фиксированные веса (w) и идентичные условия среды, то результатом работы нейросети всегда будет один и тот же вывод (r):

r=f(a,w)

Любые отклонения от этого правила свидетельствуют лишь о наличии ошибок в реализации или неверном управлении условиями запуска.

Это относится ко всем видам нейросетей независимо от архитектуры: будь то большие языковые модели (Large Language Models, LLM), сверточные нейронные сети (Convolutional Neural Networks, CNN), рекуррентные нейронные сети (Recurrent Neural Networks, RNN) или гибридные варианты.

Отдельно необходимо отметить реккурентные сети вида r1=f(a,w,r0), где результат r1 явно зависит от предыдущего состояния r0. Однако и в этом случае, при прочих равных, включая r0, результат r1 обязан быть детерминированным.

Также справедливо утверждать, что процесс обучения ^[3] w=l(a, p), где w – итоговые веса, a – аргументы обучения, p – данные для обучения, также должен оставаться детерминированным при фиксировании соответствующих параметров.

Соответственно, любое проявление недетерминированности, при которой результаты работы нейронки отличаются от запуска к запуску, является не фичей (полезной особенностью), а ошибкой ^[4] в пайплайне, которую нужно устранять. 

Однако с этим согласны не все.

Основные возражения и их опровержения

Обычно можно услышать целый ряд оправданий, почему нейросети якобы недетерминированы. Подробно разберу самые распространённые.

Неопределённость входных данных

Утверждение: Модели изначально содержат случайные компоненты (например, случайные начальные веса), что делает их недетерминированными.

Опровержение: Веса и прочие параметры модели фиксируются при задании начальных условий. Никакой внутренней случайности ^[5] без изменения аргументов не существует. Поэтому возникновение разного результата при повторных запусках без изменений аргументов или весов является следствием ошибки реализации.

Аппаратная недетерминированность

Утверждение: Результат работы нейросети может меняться из-за аппаратной недетерминированности, вызванной разными факторами (шум, нестабильное напряжение питания, сбои и другие).

Опровержение: При идентичном железе и точности, аппаратная недетерминированность исключена. Наличие недетерминированности говорит об аппаратных ошибках и исключает валидный результат.

Программная недетерминированность

Утверждение: Результат может меняться из-за реализации в программном обеспечении. Например, на него могут повлиять различия в версиях библиотек, внутреннем кэшировании или методах оптимизации.

Опровержение: При идентичной версии библиотек и операционного окружения результаты должны быть воспроизводимы. Несоблюдение этого правила при установленных одинаковых условиях свидетельствует о программной ошибке.

Алгоритмическая недетерминированность

Утверждение: Результат может меняться из-за алгоритмической недетерминированности, в том числе из-за параллельных вычислений, гонок и порядка операций.

Опровержение: Недетерминированность без изменения входных данных всегда свидетельствует о наличии ошибки. Алгоритм должен выдавать один результат при фиксированных данных и фиксированном порядке шагов. Если порядок «плавает» и приводит к результату (x+y)+z≠x+(y+z), — реализация некорректна.

Внешние факторы

Утверждение: Существуют внемодульные воздействия (например, квантовые эффекты или измерения внешней среды), способные влиять на результаты работы нейросети.

Опровержение: Любой параметр внешнего мира, включая квантовые операции и другие внешние факторы, может быть отражён только через аргументы модели. Если фактор напрямую влияет на результат без явного включения в аргументы — это ошибка реализации.

Что делать при обнаружении недетерминированности в модели

Исходя из представленных мной аргументов, можно сделать вывод, что недетерминированность — ошибка, которую нужно и можно устранять.

Признание проблемы

Наличие недетерминированности является индикатором проблемы. Следует признать наличие проблемы и указать на неё.

Анализ проблемы

При обнаружении недетерминированности необходимо определить источник проблемы и классифицировать его по одной из рассмотренных выше категорий:

• неопределённость входных данных — случайность во входных данных или весовых коэффициентах, незарегистрированные изменения состояний и прочее;

• аппаратная недетерминированность — отличается порядок операций, ошибки железа;

• программная недетерминированность — версия библиотек, оптимизация;

• алгоритмическая недетерминированность — ошибки реализации, параллелизм, нарушение последовательности операций.

Устранение проблемы

По результатам анализа необходимо принять меры для устранения проблемы с демонстрацией возможности получения детерминированного результата.

• Неопределённость входных данных. Важно исключить случайные модификации входных данных или весов, а также незамеченные изменения состояний. После локализации проблемы следует зафиксировать начальные условия и установить фиксированное зерно (seed) для инициализации случайных чисел.

• Аппаратная недетерминированность. Нужно оценить целостность оборудования, его рабочие параметры и техническое состояние. В случае выявления дефектов заменить повреждённое оборудование или восстановить стабильную рабочую среду. Важно применять идентичное оборудование для серии экспериментов.

• Программная недетерминированность. Следует определить возможные несоответствия в версиях библиотек. Важно применять идентичную версию библиотек и средств разработки.

• Алгоритмическая недетерминированность. Рационально проанализировать порядок выполнения операций, возможные гонки потоков и нарушение детерминированности при распараллеливании. Важно организовывать вычисления таким образом, чтобы сохранить детерминированность алгоритмов. Не стоит приносить гарантию очередности в жертву скорости вычислений.

Примечание: Допускаю, что в некоторых сценариях «случайность» необходима. Однако она должна быть явно включена в аргументы модели с возможностью последовательного тестирования на идентичных аргументах. При этом модель должна по-прежнему демонстрировать детерминируемость при прочих равных.

Что в итоге

Приведенные мной аргументы позволяют сделать несколько выводов:

• утверждение о принципиальной недетерминированности математической нейросети свидетельствует об отсутствии информации о происходящем в сети, либо о сокрытых ошибках на аппаратном, программном или алгоритмическом уровнях;

• невозможность демонстрации нейросетью детерминированных результатов следует считать опасной проблемой из-за непредсказуемости, требующей решения, особенно при применении в критически важных для бизнеса системах;

• применение любых моделей в критически важных для бизнеса системах должно основываться на понимании источников недетерминированности, её описания и контроля;

• реализация детерминированного пайплайна исполнения нейросети должна быть приоритетной сознательной целью.

Таким образом, при всем многообразии нейросетей самую серьезную часть рынка разделят те, кто сумеет показать и доказать полную подконтрольность (детерминированность) своего искусственного интеллекта ^[6]. 

А вы сталкивались с недетерминированностью математической нейросети? Как боретесь с ней в своих проектах? Делитесь опытом ^[7] — будет полезно.