Джеффри Хинтон, Йошуа Бенджио и ещё 418 учёных из 34 стран призвали создать международный орган для надзора за передовыми системами искусственного интеллекта, способными проводить кибератаки. Предполагаемая структура будет устанавливать общеотраслевые стандарты сдерживания и вести реестр существенных инцидентов в сфере безопасности.
В открытом письме исследователи указали, что передовые ИИ‑модели должны быть изначально изолированы от внешних сетей и подлежать независимому надзору, поскольку добровольных обязательств со стороны отрасли недостаточно.
Это предложение поступило спустя несколько недель после того, как Anthropic, OpenAI, Google, Meta*, SpaceXSI и Nvidia подписали с американским правительством соглашение, предусматривающее добровольные меры безопасности без какого‑либо формального механизма принудительного исполнения.
Инициативе исследователей предшествовала серия инцидентов, которые выявили слабые места в методах тестирования и сдерживания передовых ИИ‑систем, включая случаи, когда языковые модели выходили из изолированных сред и взламывали внешнюю инфраструктуру.
Авторы открытого письма отметили, что разработчики ИИ‑моделей должны немедленно принять стандарты обеспечения высокой степени защиты. Правительства же должны работать над созданием более формального режима надзора.
Хинтон и Бенджио разделили премию Тьюринга 2018 года с ещё одним ведущим исследователем ИИ из Meta Яном Лекуном. Последний не подписал письмо и утверждал, что недавние инциденты в сфере безопасности в основном отражают инженерные ошибки, а не экзистенциальные риски, исходящие от ИИ.
Также письмо подписали Стюарт Рассел, Тоби Уолш, Дэн Бохен, Рон Ривест, Николас Папернот и многие другие исследователи.
*Meta Platforms признана экстремистской организацией, её деятельность в России запрещена
Автор: Travis_Macrif
