Бывший руководитель отдела политики OpenAI критикует компанию за «переписывание» истории безопасности AI

Известный бывший исследователь политики OpenAI Майлз Брандейдж ^[1] в среду выступил в социальных сетях ^[2] с критикой OpenAI за «переписывание истории» подхода компании к развертыванию потенциально рискованных систем AI. Ранее на этой неделе OpenAI опубликовала документ ^[3], в котором излагается ее текущая философия безопасности и согласованности AI, процесса проектирования систем AI, которые ведут себя желаемым и объяснимым образом.

В документе OpenAI заявила, что рассматривает разработку AGI, в широком смысле определяемую как системы AI, которые могут выполнять любую задачу, которую может выполнить человек, как «непрерывный путь», требующий «итеративного развертывания и обучения» технологий AI.

«В прерывистом мире уроки безопасности возникают из обращения с сегодняшними системами с чрезмерной осторожностью относительно их кажущейся мощности, что является подходом, который мы использовали для нашей модели AI GPT‑2», — пишет OpenAI.

«Теперь мы рассматриваем первый AGI как всего лишь одну точку в ряду систем возрастающей полезности. В непрерывном мире способ сделать следующую систему безопасной и полезной — это учиться у текущей системы».

Однако Брандейдж утверждает, что на самом деле GPT-2 требовал большой осторожности на момент своего выпуска и что это «на 100% соответствовало» сегодняшней стратегии итеративного развертывания OpenAI.

«Выпуск OpenAI GPT-2, в котором я принимал участие, на 100% соответствовал и предвосхитил нынешнюю философию итеративного развертывания OpenAI», — написал Брандейдж в посте на X. ^[4] 

«Модель выпускалась постепенно, с обменом уроками на каждом этапе. Многие эксперты по безопасности в то время благодарили нас за эту осторожность».

Брэндедж, который присоединился к OpenAI в качестве научного сотрудника в 2018 году, несколько лет возглавлял отдел политических исследований компании. В команде OpenAI «готовность к AGI» он уделял особое внимание ^[5] ответственному развертыванию систем генерации языка, таких как платформа чат-ботов AI OpenAI ChatGPT.

GPT-2 ^[6], анонсированный OpenAI в 2019 году, был прародителем систем искусственного интеллекта ^[7], лежащих в основе ChatGPT ^[8]. GPT-2 мог отвечать на вопросы по теме, резюмировать статьи и генерировать текст на уровне, иногда неотличимом от человеческого.

Источник ^[9]