Десятилетняя вражда, формирующая будущее ИИ

Личные обиды и борьба за власть между руководителями OpenAI и Anthropic определяют, как именно мир знакомится с этой технологией

Ещё до споров из-за применения Пентагоном искусственного интеллекта Дарио Амодеи всё активнее нападал на своего бывшего начальника Сэма Альтмана и на курс развития OpenAI — компании, которую они вместе выстроили.

В последние месяцы генеральный директор Anthropic в общении с коллегами сравнивал судебную тяжбу между Альтманом и Илоном Маском с борьбой Гитлера и Сталина¹, называл злом пожертвование в $25 миллионов долларов, которое президент OpenAI Грег Брокман направил в протрамповский суперкомитет политических действий², и в речах уподоблял OpenAI и других соперников табачным компаниям, сознательно сбывающим вредоносный продукт.

Внутри организации эту бренд-стратегию называют позиционированием Anthropic как «здоровой альтернативы» другим игрокам в сфере искусственного интеллекта. Недавно такая стратегия получила публичное воплощение в рекламной кампании для Супербоула³: Anthropic ловко, не называя имён, атаковала OpenAI за решение встроить рекламу в чат-бота.

Амодеи выстроил бренд Anthropic на основе следующей идеи: подход компании принципиально безопаснее, чем у конкурентов, особенно, OpenAI, из которой он и другие сооснователи Anthropic ушли в 2020 году именно из-за опасений по поводу безопасности. На деле в числе причин для ухода есть незабытые личные обиды, в том числе традиционные корпоративные трения — борьба за влияние и распределение заслуг.

Эти сложные отношения влияют на развёртывание ИИ — технологии, которая уже движет значительной частью мировой экономики, порождает надежды и страхи по поводу будущего труда, смысла и жизнеспособности человечества.

В последние недели раскол выплеснулся на публику: в спор Anthropic и Пентагона по поводу применения ИИ на войне встрял Альтман и объявил, что добился для OpenAI контракта на выполнение засекреченных работ для Министерства обороны США. Тем временем Anthropic судится с администрацией Трампа после того, как компании запретили вести дела с Пентагоном.

Амодеи написал в Slack гневный пост, назвав OpenAI «лживой» и добавив: «Эти факты указывают на модель поведения, которую я у Сэма Альтмана наблюдал часто».

Раскол между двумя гигантами ИИ (обе компании оцениваются более чем в $300 млрд стоимости) начинается в ожесточённых обсуждениях, которые десятилетие назад в таунхаусе в Сан-Франциско вели несколько человек, в том числе Амодеи. Обе компании мчатся навстречу IPO, но философские и личные разногласия их руководителей уже дали метастазы.

Встречу по ИИ в Нью-Дели в феврале этого года закрывали групповым жестом: премьер-министр Индии Нарендра Моди и собравшиеся лидеры технологической отрасли взялись за руки и подняли их над головами. Амодеи и Альтман воздержались от подобного контакта и вместо неловко коснулись локтями.

Этот рассказ о разрыве между лидерами Anthropic и OpenAI основан на беседах с нынешними и бывшими сотрудниками и окружением топ-менеджеров обеих компаний. Многие из этих подробностей прежде не публиковались.

Дом на Делано-авеню

Напряжённость в отношениях между основателями OpenAI и Anthropic началась в 2016 году в доме на Делано-авеню в Сан-Франциско, где вместе жила группа друзей.

Дарио Амодеи жил там со своей сестрой Даниэлой Амодеи. Брат и сестра выросли в районе залива Сан-Франциско. На тот момент Дарио уже получил докторскую степень по биофизике и работал исследователем ИИ в Google. Даниэла была молодым руководителем в платёжном стартапе Stripe.

Брокман, невероятно продуктивный программист и один из сооснователей OpenAI, дружил с Даниэлой и стал частым гостем в этом доме. Уроженец Северной Дакоты бросил сначала Гарвард⁴, а потом Массачусетский технологический институт и ушёл в Stripe, где был одним из первых сотрудников. Там Брокман с Даниэлой и познакомился. Когда OpenAI запускалась в 2015 году, Грег безуспешно пытался переманить в организацию двух жителей дома по Делано-авеню — Дарио и ещё одного соседа.

Жених Даниэлы, Холден Карнофски, тоже жил в этом доме. Карнофски был основателем филантропической организации, продвигавшей эффективный альтруизм — движение, которое одним из первых всерьёз восприняло потенциальную мощь и опасность ИИ. Через Карнофски Брокман заинтересовался некоторыми идеями движения.

Однажды в начале 2016 года Брокман, Дарио и Карнофски сидели в доме и спорили о том, как правильно строить ИИ. Брокман, пришедший из мира стартапов Кремниевой долины, утверждал: если технология и правда изменит жизнь каждого настолько сильно, как им всем казалось, создатели искусственного интеллекта должны рассказать о надвигающемся каждому из 300 миллионов американцев.

Дарио и Карнофски возражали: транслировать широкой публике самые оптимистичные представления о том, на что вот-вот окажется способен ИИ — наверное, не лучшая идея. Дарио говорил, что о таких чувствительных вопросах, как скорость развития ИИ, сначала лучше информировать правительство.

Из этого разговора Брокман вынес убеждение, что эти двое рассказывать публике про авангард индустрии ИИ не хотят. Много лет спустя Дарио стал одним из самых громких голосов, предупреждающих о влиянии искусственного интеллекта на общество. Тем не менее Брокман всё так же считает, что этот обмен мнениями показал ключевое различие между философиями OpenAI и Anthropic.

Первые травмы

К середине 2016 года Дарио, впечатлённый уровнем собранных в OpenAI талантов, присоединился к лаборатории. Он допоздна сидел со славившимся ночным образом жизни Брокманом, обучая ИИ-агентов проходить видеоигры.

К 2017 году забуксовал Universe, один из ранних проектов OpenAI, целью которого было обучить ИИ-агентов играть в игры и пользоваться компьютером так, как это делает человек. Маск, тогдашний основной финансовый спонсор OpenAI, попросил Брокмана и главного научного сотрудника Илью Суцкевера составить таблицу со всеми сотрудниками и указанием, какой важный вклад внёс каждый. Это классический предвестник сокращений в духе Маска.

Дарио с ужасом наблюдал, как его коллег увольняют одного за другим. Ему это казалось бессмысленно жестоким. В итоге работу потеряли от 10 % до 20 % из 60 сотрудников OpenAI. (Кстати, в их числе был один из будущих сооснователей Anthropic).

Осенью 2017 года Дарио нанял советника по этике и политике, который представил руководству OpenAI идею: некоммерческая лаборатория могла бы стать координирующим центром сначала среди других ИИ-компаний, а затем — между этими компаниями и правительством США, чтобы выстроить нечто вроде международного режима координации в сфере передового ИИ.

Брокман увидел в этой презентации зародыш идеи по привлечению средств: OpenAI могла бы продавать правительствам универсальный искусственный интеллект. Когда Дарио спросил, каким именно правительствам, Брокман ответил, что ядерным державам, образующим Совет Безопасности ООН, чтобы не дестабилизировать мировой порядок. Некоторое время эту идею обсуждали внутри организации.

Мысль о продаже универсального ИИ соперничающим державам вроде России и Китая показалась Дарио равносильной государственной измене, и он всерьёз задумался об уходе.

Противоречивые обещания

В начале 2018 года Маск ушёл из OpenAI. Центральное место в управлении занял Альтман. Он встретился с Дарио, и они сошлись во мнении, что из-за увольнений сотрудники лаборатории не доверяют руководству Брокмана и Суцкевера.

Дарио согласился остаться, но только если Альтман пообещает, что Брокман и Суцкевер не будут стоять у руля. Альтман согласился.

Вскоре Дарио узнал о, как он сам посчитал, нарушении этой договорённости. Произошло это на встрече о структуре подчинения, где Брокман упомянул про результаты обсуждений с Альтманом. Новый глава OpenAI пообещал Брокману и Суцкеверу, что они могут в любой момент уволить Альтмана, если эти двое решат, будто Сэм плохо справляется.

Живя вместе в доме на Делано-авеню, Дарио, Даниэла и Карнофски делили и приверженность безопасности ИИ, и любовь к чудачествам. Даниэла так обожала свою коллекцию плюшевых зверей, что Карнофски сделал ей предложение при помощи видеоролика, где эти игрушки оживают. На их свадьбе в стиле костюмированной вечеринки Дарио появился в костюме панды. Также пандами прозвали его окружение внутри OpenAI.

Брокман переманил Даниэлу в OpenAI, где она стала человеком-оркестром, то есть и управлением инженерными командами занималась, и наймом. Годом ранее она вышла замуж за Карнофски, на тот момент члена совета директоров OpenAI.

Противоречия обострились после того, как исследователь OpenAI Алек Радфорд заложил техническую базу для больших языковых моделей и собственной серии генеративных предобученных трансформеров или GPT (Generative Pre-Trained Transformer)⁵.

Брокман хотел поучаствовать в этом новом направлении исследований, но Дарио, на тот момент руководитель исследований, не желал подпускать Грега к GPT и близко. Брокман обратился к Альтману. Последний принялся убеждать Амодеи позволить Брокману работать над языковым проектом.

Даниэла, которая вместе с Радфордом руководила языковым проектом, сказала Брокману, что работать над ним он не будет. Когда Альтман спросил, нельзя ли как-то это дело уладить, она предложила уйти с поста руководителя проекта, лишь бы не допустить Брокмана к проекту. Альтман попросил её остаться и сказал, что найдёт другой выход из ситуации.

Дарио на одной из последующих встреч сотрудников перечислил много причин, почему Брокмана нельзя допускать к языковому проекту. В числе прочего было то, что Радфорд не хочет работать с Грегом. Радфорд был потрясён: ему казалось, что его предпочтения используют как оружие в чужой войне между руководителями высшего звена.

Брокман и Альтман неохотно согласились, что Грег останется в стороне от языкового проекта.

Ссора за ссорой

Шли годы, Дарио и его команда выпустили GPT-2 и GPT-3, его вес в OpenAI рос. Однако сам он не всегда чувствовал, что его вклад признаю́т должным образом.

Он говорил окружающим, что Альтман преуменьшает его роль. Дарио раздражало, что Брокман ходит на подкасты обсуждать, к примеру, устав компании, хотя внёс в него меньше, чем Амодеи.

Один из показательных случаев произошёл в 2018 году. Брокман попросил Дарио перепроверить какой-то факт на одном из слайдов к важной встрече. Дарио спросил, для кого эти слайды. Брокман объяснил, что пойдёт с Альтманом на встречу с бывшим президентом США Бараком Обамой. Амодеи это задело: его оставили в стороне.

На следующий год Дарио попросил повысить его до вице-президента по исследованиям. Альтман согласился и написал совету директоров, что Дарио будет подчиняться ему напрямую и получит такой же статус во внешних коммуникациях, какой есть у сооснователей организации Брокмана и Суцкевера.

В письме совету директоров от ноября 2019 года Альтман также сообщил, что Дарио согласился «не очернять проекты, в которые сам не верит, но на которые делают ставку другие».

Перемирие оказалось недолгим. Несколько месяцев спустя руководители OpenAI устроили в офисе грандиозную ссору.

Альтман позвал Дарио и Даниэлу в переговорную и обвинил их в заговоре против него. По словам главы OpenAI, они подбивали коллег отправлять в совет директоров негативные отзывы о нём. Брат и сестра это отрицали.

Альтман заявил, что об этом ему рассказала одна из высокопоставленных руководительниц OpenAI. Даниэла вызвала её; последняя рассказала, что понятия не имеет, о чём говорит Сэм. Тогда Альтман начал отрицать, что вообще такое говорил. В ответ брат и сестра Амодеи перешли на гневный крик.

К марту 2020 года отношения внутри руководящей команды OpenAI настолько накалились, что Альтман попросил их дать другу письменные оценки.

Брокман написал для Даниэлы длинный отзыв, обвинив её в злоупотреблении властью и создании бюрократических процедур ради достижения своих целей. Сначала он показал текст Альтману, и тот назвал его «жёстким, но справедливым». Даниэла подготовила длинный ответ, по пунктам опровергнув его обвинения. Спор вокруг фидбэка на коллег обострился настолько, что в какой-то момент Брокман предложил убрать свой из отзывов на Даниэлу.

Окончательный разрыв

К концу 2020 года коронавирус приучил людей к строгим рамкам видеозвонков. В это время вокруг Дарио сплотилась группа людей, решивших отколоться и создать свою компанию. В итоге именно Даниэле поручили вести с юристами переговоры об уходе.

Альтман пришёл к Дарио домой просить его остаться. Дарио сказал, что его устроит только подчинение напрямую совету директоров. Он также сказал, что не может работать с Брокманом.

Дарио славился своими длинными служебными записками и одну такую написал в последние недели в OpenAI. В ней он подразделил компании искусственного интеллекта на два сорта: рыночные и компании общественного блага.

По мнению Дарио, рыночные компании вроде OpenAI полагают возможным сделать мир лучше, создавая и продавая полезные для людей продукты, в том числе и универсальный сильный ИИ, который когда-то сделают. Компания общественного блага, утверждал он, занималась бы исследованиями безопасности и прорабатывала бы различные риски и возможности AGI.

Дарио писал, что идеальная пропорция — 75 % общественного блага и 25 % рынка.

Через несколько недель Дарио, Даниэла и ещё почти десяток⁶ сотрудников ушли из OpenAI. Менее чем через пять лет они будут подбирать для Anthropic банки, стремясь вывести компанию на биржу раньше своего бывшего работодателя.

Примечания переводчика

1. Текст американского издания Wall Street Journal сравнивает противостояние Альтмана и Маска с борьбой Гитлера со Сталиным. Читателю с пространства бывшего СССР эта изысканная аллегория из речей Дарио Амодеи будет понятна не до конца, поскольку в идеологии США оба лидера считаются монстроподобными и отвратительными. ↑

2. Комитеты политического действия, осуществляющие только независимые расходы (independent expenditure-only political action committee), или Super PAC — это относительно недавнее изобретение политической жизни США. Подобная структура стала возможной только после решения Верховного суда США от 21 января 2010 года (снятие запрета на независимые предвыборные расходы корпораций) и решения апелляционного суда по делу SpeechNow.org от 26 марта 2010.

   По сути, это механизм, позволяющий компаниям, профсоюзам и крупным донорам-физлицам вливать в выборы огромные деньги не напрямую через кандидата, а через формально независимую агитацию — рекламу, ролики и рассылки за или против него. Super PAC не имеет права напрямую жертвовать деньги кандидату и не должен координироваться с его штабом. Тем не менее это удобный способ легально конвертировать корпоративные или частные средства в политическое влияние внутри США.

   Грег Брокман и его жена Анна действительно тратили деньги в пользу движения MAGA, разве что в тексте объединены два отдельных пожертвования по $12,5 млн каждое. Поддержка Трампа — это не что-то из ряда вон выходящее ни для OpenAI, ни для индустрии искусственного интеллекта в целом. К примеру, среди перечисления пожертвований в инаугурационный комитет Трампа — Вэнса обнаруживается и полное имя главы OpenAI Сэмюэла Харриса Альтмана, и компания Perplexity AI. ↑

3. Самое популярное спортивное событие США — ежегодная финальная игра чемпионата чемпионата Национальной футбольной лиги. Поскольку смотрят Супербоул примерно 125 млн человек, цена рекламного размещения исчисляется миллионами. В этом году один 30-секундный рекламный ролик стоил до $10 млн. Это цена лишь за размещение; из-за их высокого качества сами рекламные видеоролики обсуждают и разбирают в прессе. ↑

4. Так в оригинальном тексте. Брокман сам описывает ситуацию следующим образом: из Гарвардского университета он не просто отчислился в никуда, а перевёлся в Массачусетский технологический институт. ↑

5. Конечно, изобрели архитектуру раньше, в 2017 году, и не в OpenAI (arXiv:1706.03762). Тем не менее Радфорд действительно сыграл огромную роль в ключевых работах по GPT: он первый автор статьи 2018 года с ранним подходом OpenAI к предобучению трансформеров и статьи 2019 года про GPT-2. ↑

6. Оригинальный текст на английском утверждает, что кроме Дарио и Даниэлы из компании уволилась почти дюжина человек, хотя обычно говорят, что суммарно из OpenAI для формирования Anthropic вышло всего 11 сотрудников. ↑