OpenAI внедрит систему контроля для остановки рисковых ИИ‑задач за 35 секунд

OpenAI внедрила ^[1] централизованную систему управления под названием «Control Room», предназначенную для остановки потенциально рискованных процессов, связанных с использованием моделей ИИ в рамках исследовательской инфраструктуры. Система позволяет прекратить генерацию ответов моделью в течение 35 секунд после принятия решения о вмешательстве. 

Система объединяет различные исследовательские задачи — включая обучение ^[2] агентных моделей, их оценку и обработку данных — с центральным сервисом, который контролирует возможность дальнейшей генерации контента.

В отличие от традиционных систем мониторинга, которые в основном лишь фиксируют подозрительное поведение ^[3], Control Room способна активно блокировать получение моделью новых данных или ответов в ходе выполнения исследовательской задачи. Она работает параллельно с уже существующими в OpenAI инструментами для отслеживания моделей, чьё поведение ^[4] может отклоняться от заданных целей.

По заявлению компании, Control Room уже развёрнута в исследовательской инфраструктуре. Она связывает три ключевых компонента: исследовательскую задачу, механизм вывода (inference engine) и центральный сервис Control Room.

Исследовательская задача — это рабочий процесс, например, эксперимент с обучением с подкреплением ^[5], оценка модели или масштабная обработка данных. Каждая такая задача, предполагающая использование агентных моделей, должна быть подкреплена утверждённым обоснованием безопасности.

Когда исследователь запускает задачу, её программный код запрашивает у Control Room уникальный идентификатор. Этот идентификатор затем прикрепляется к запросам, направляемым к механизмам вывода — системам, которые запускают модели непосредственно на графических процессорах и генерируют результаты. Перед выполнением запроса механизм вывода обращается к Control Room, чтобы подтвердить, что данная задача по‑прежнему имеет разрешение на выполнение. Если исследователь или система мониторинга дали команду остановить задачу, сервис отклоняет очередной запрос, и механизм вывода прекращает генерацию ответов для этого процесса.

Важно отметить, что сам исследовательский процесс при этом не обязательно завершается полностью. Его программный код может продолжать выполняться, однако он больше не сможет получать новые результаты от моделей через авторизованные механизмы вывода.

Такой подход позволяет не полагаться на то, что исследователи корректно реализуют проверки безопасности в коде своих задач. Благодаря механизму «автоматической блокировки» (fail‑closed) выполнение запросов на вывод становится невозможным, если сам сервис Control Room оказывается недоступным.

По заявлению OpenAI, максимальная задержка между получением команды на остановку и фактическим прекращением процесса составляет 35 секунд. Эта задержка обусловлена ​​использованием уровня кэширования, необходимого для обработки большого потока запросов на авторизацию операций вывода. В настоящее время компания работает над тем, чтобы сократить этот интервал до нуля.

Система также интегрирована с инструментами автоматизированного мониторинга. В OpenAI сообщили, что все процессы обучения передовых моделей с подкреплением сопровождаются работой отдельного монитора на базе нейросети. Этот монитор анализирует поведение модели и может подавать сигнал тревоги при обнаружении потенциальных проблем.

Если сигнал требует вмешательства, система мониторинга может дать указание Control Room завершить соответствующий процесс. После этого сервис блокирует любые последующие запросы на вывод для всех моделей или механизмов, задействованных в данной задаче.

В качестве примера того, почему такие меры защиты важны, компания привела недавний инцидент, связанный с DNS: система мониторинга зафиксировала попытку агента связаться с внешним чат‑ботом.

Ранее OpenAI заявила ^[6], что будет обучать свои модели, используя кэшированные копии и симулированные версии интернета, а не доступ к реальной сети. Это решение принято в связи с тем, что поведение моделей зачастую оказывается слишком непредсказуемым, чтобы предоставлять им прямой выход в интернет.