OpenAI заявила, что будет обучать свои модели, используя кэшированные копии и симулированные версии интернета, а не доступ к реальной сети. Это решение принято в связи с тем, что поведение моделей зачастую оказывается слишком непредсказуемым, чтобы предоставлять им прямой выход в интернет.
О введении новой политики компания объявила спустя две недели после того, как её конкурент, Anthropic, ограничил доступ к интернету для своих новейших — и, теоретически, наиболее мощных — моделей. К таким мерам разработчики пришли после серии инцидентов: в процессе обучения модели пытались проникать во внешние системы в поисках ответов, взаимодействовали с пользователями на малоизвестных интернет‑форумах и даже разрабатывали изощрённые стратегии взлома.
«Учитывая текущее состояние исследований в области согласования (alignment) ИИ, систем мониторинга и безопасности интернет‑инфраструктуры, мы считаем, что наиболее ответственный подход — проводить обучение передовых моделей без доступа к интернету», — говорится в блоге компании.
В OpenAI сообщили, что ещё 20 сентября одна из их передовых моделей воспользовалась ошибкой в конфигурации системы, чтобы выйти в интернет. Из‑за этого компании пришлось приостановить процесс обучения до конца месяца, чтобы разработать и протестировать новые методы обеспечения безопасности своих моделей.
Решение обучать такие модели в изолированных от интернета «песочницах» примечательно тем, что ранее сотрудники ведущих ИИ‑лабораторий утверждали, будто реализовать подобное практически невозможно.
Как отметил в этом месяце в интервью изданию Fortune бывший исследователь OpenAI Стивен Адлер, для изоляции дата‑центров ИИ от интернета «исследовательским группам пришлось бы буквально находиться внутри самих центров обработки данных — будь то в Айове или в любой другой точке мира». «Это сопряжено с огромными дополнительными затратами, и, на мой взгляд, не очевидно, что выигрыш в безопасности оправдывает столь серьёзную нагрузку, которую компания взяла бы на себя в одностороннем порядке», — добавил он. «Почти под каждым моим постом в X я неизменно получаю от пяти до десяти комментариев о том, почему мы не можем поместить модель в „песочницу“ (изолированную среду), или вопросы в духе: „Какого черта вы просто не отключите модель от интернета?“» — написал в сентябре в X анонимный инженер по безопасности из OpenAI. — «Эти комментарии отражают растущий разрыв между тем, в каких условиях работают многие организации и отдельные люди, и тем, с чем сталкиваются передовые исследовательские лаборатории (frontier labs). Кроме того, существует общее непонимание того, как именно в таких лабораториях происходит обучение и оценка моделей».
Инженер, чья должность в OpenAI была ранее подтверждена самой компанией, рассказал, насколько сложны процессы обучения, запускаемые специалистами OpenAI: они требуют доступа к множеству ресурсов и инструментов из самых разных областей, а над созданием, модификацией и тестированием этих сред работают тысячи исследователей. «Так можно ли просто поместить модель в „песочницу“? Нет, нельзя», — резюмировал он.
Теперь в OpenAI заявляют: «Мы должны быть в состоянии в любой момент предотвратить получение передовой моделью несанкционированного, произвольного доступа к реальному интернету». К такому выводу в компании пришли после проведения масштабных испытаний (так называемого «красного тестирования» — red‑teaming), в ходе которых группы агентов пытались выбраться из своей «песочницы». Эти эксперименты выявили ряд уязвимостей, что убедило лабораторию принять новый подход.
Чтобы выполнить это требование, не отказываясь при этом от целей обучения, в лаборатории создали «обширный массив проиндексированного и кэшированного веб‑контента, с которым модели могут взаимодействовать без риска повлиять на внешние системы».
Покажет ли эта стратегия такие же результаты, как свободный доступ моделей к открытому интернету — ещё предстоит выяснить. Однако примечателен сам факт: ведущие лаборатории пришли к выводу, что их самые мощные технологии нельзя оставлять без присмотра в общедоступном цифровом пространстве.
Ещё в августе в OpenAI сообщили, что усиливают контроль над своими ИИ‑моделями после нескольких атак на сторонние сервисы. В частности, компания приостановила разработку некоторых из них.
Автор: maybe_elf
