На официальном сайте OpenAI вышел программный пост AI Progress and Recommendations (“Развитие ИИ и рекомендации), в котором компания в том числе предупреждает о “потенциально катастрофических” рисках супер-ИИ и предлагает пять шагов для улучшения безопасности.
Авторы пишут, что уже сейчас в ряде интеллектуальных задач модели сопоставимы с людьми, при этом падение “стоимости единицы интеллекта” примерно в 40 раз в год. При столь высоких темпах развития критически важно успевать выравнивать и надежно контролировать новые ИИ. В OpenAI отмечают, что при приближении к созданию способных к самообучению ИИ, стандарты безопасности следует ужесточить — вплоть до замедления разработки таких систем.
Также среди предложений OpenAI:
-
общие стандарты безопасности между передовыми ИИ-лабораториями;
-
надзор за ИИ “по уровням способностей” (ниже для текущих моделей, усиленная координация при прогрессе);
-
«экосистема устойчивости» (стандарты, мониторинг, команды реагирования — аналог того, что принято в кибербезопасности);
-
регулярные измерения фактического влияния на экономику и занятость;
-
сделать доступ к продвинутому ИИ базовой утилитой для взрослых пользователей в установленных обществом рамках.
Отдельный акцент — публичная подотчетность разработчиков. В США OpenAI призывает избегать “регуляторного лоскутного одеяла”, различающегося в отдельных штатах и двигаться к общим стресс-тестам и протоколам работы с опасными возможностями (например, в рисках биологической угрозы).
P.S. Поддержать меня можно подпиской на канал “сбежавшая нейросеть“, где я рассказываю про ИИ с творческой стороны.
Автор: runaway_llm
