В OpenAI предупредили о «потенциально катастрофической» опасности супер-ИИ

На официальном сайте OpenAI вышел программный пост ^[1] AI Progress and Recommendations (“Развитие ИИ и рекомендации), в котором компания в том числе предупреждает о “потенциально катастрофических” рисках супер-ИИ и предлагает пять шагов для улучшения безопасности.

Авторы пишут, что уже сейчас в ряде интеллектуальных задач модели сопоставимы с людьми, при этом падение “стоимости единицы интеллекта” примерно в 40 раз в год. При столь высоких темпах развития критически важно успевать выравнивать и надежно контролировать новые ИИ. В OpenAI отмечают, что при приближении к созданию способных к самообучению ИИ, стандарты безопасности следует ужесточить — вплоть до замедления разработки таких систем.

Также среди предложений OpenAI:

• общие стандарты безопасности между передовыми ИИ-лабораториями;

• надзор за ИИ “по уровням способностей” (ниже для текущих моделей, усиленная координация при прогрессе);

• «экосистема устойчивости» (стандарты, мониторинг, команды реагирования ^[2] — аналог того, что принято в кибербезопасности);

• регулярные измерения фактического влияния на экономику и занятость;

• сделать доступ к продвинутому ИИ базовой утилитой для взрослых пользователей в установленных обществом рамках.

Отдельный акцент — публичная подотчетность разработчиков. В США OpenAI призывает избегать “регуляторного лоскутного одеяла”, различающегося в отдельных штатах и двигаться к общим стресс-тестам и протоколам работы с опасными возможностями (например, в рисках биологической угрозы).

P.S. Поддержать меня можно подпиской на канал “сбежавшая нейросеть ^[3]“, где я рассказываю про ИИ с творческой стороны.