На прошлой неделе (относительно выхода оригинального эссе – прим. пер.) сенсацию вызвало выступление бывшего исследователя Anthropic Джейкоба Коксона, который в эксклюзивном интервью WSJ заявил, что “уходит из индустрии ИИ” (по факту нет, никуда он не ушел) из-за, цитирую “… страха, что AI лаборатории и их конкуренты строят системы, которые не смогут проконтролировать.”
Его страхи крутились в основном на создании процессов “рекурсивного саморазвития”. Эти процессы (все еще скорее гипотетическая, нежели практическая концепция) породят ИИ, который обучает сам себя автономно. Однако Джейкоб высказал на удивление мало конкретных опасений, кроме “ИИ лаборатории не могут контролировать ИИ”, всегда описывая ИИ как “сущность, которую невозможно контролировать”, вместо того, чтобы называть ИИ по факту “Плохо написанным облачным ПО, запущенным на железе крупнейших компаний в мире”.
Лучше, чем Эмили Форлини из Fortune, и не скажешь:
Послушайте – он заявляет, что ИИ может нас убить однажды, но не указывает ни на один конкретный проект в экосистеме лабораторий, который надо остановить для предотвращения такого сценария. Он говорит, что ИИ компании движутся слишком быстро, но не предоставляет никаких скриншотов, писем или хотя бы конкретных примеров на словах, где мы свернули не туда – т.е. когда конкретно топ-менеджеры ИИ компаний поняли, что технология ускользает из под их контроля, и кто именно принял решение игнорировать тревожные флаги. Он не предлагает никаких новых законов, не называет никаких проблемных руководителей, которых следовало бы сместить, и не дает детального разбора, как та же Anthropic разрабатывает новые модели.
Это потому что, как я считаю, Джейкобу плевать на действительный вред от ИИ. Неважно, говорим ли мы о LLM или чем-то воображаемом лично им. Кстати, он работает на non-profit компанию, организовавшую интервью CBS, где он заявил, что ИИ (напоминаю, речь идет о моделях, занимающих несколько терабайт в памяти), смогут сделать десятки тысяч собственных копий.
И, конечно, феерический бред вроде этого:
“Все это не слишком отличается от фильма Терминатор, и других научно-фантастических фильмов”, сказал Коксон CBS News в четверг. “Оно станет достаточно умным, чтобы нас убить”.
Ни разу Коксон не заикнулся о том, как ChatGPT выступила в роли тренера по суициду, стала прямой причиной убийства, помогла в массовой стрельбе во Флориде и Канаде, или как ужасные газовые турбины для дата-центров ИИ отравляют цветные общины. Его заявления по поводу атаки на Hugging Face – как и вся его “критика системы” – фокусируются на очеловечивании LLM как непознаваемой, непреодолимой силой, без всякой ответственности для людей.
Это буквальное повторение ситуации в феврале, когда убогое эссе Мэтта Шумера “Происходит что-то большое” распространилось, словно лесной пожар, по всем соцсетям и новостным лентам, хотя его писанина была бессмысленной и надуманной, вот только на этот раз рассказчик перешел черту. Хотя предупреждения Коксона являются чистой воды спекуляцией, и в большинстве случае на тему “Да, коллеги мне говорили что-то такое”, но тем не менее эффект от его речей выражается в том, что многие люди испугались ИИ, хотя ИИ не может делать вещи, про которые Коксон говорит.
Единственная конкретная вещь, про которую он говорит, это атака на Hugging Face, которая описывается в терминах вида “У ИИ есть план” или “Действует по собственной инициативе”. А когда WIRED начал на него давить, ответ свелся к тому, что Коксон “не хочет слишком фокусироваться на этой атаке”.
А давайте-ка найдем крайнего сфокусируемся на ней, потому что это важный прецедент!
Атака на Hugging Face – что это было?
Примечание: для тех, кто не в курсе, Hugging Face это такая платформа, на которой можно хостить AI модели, а также фреймворки для оценки этих моделей.
Чтобы ответить на этот вопрос, я использую отличное эссе регулярного гостя нашего подкаста Better Offline Кэла Ньюпорта, вышедшее в июле.
Прежде всего, что пыталась сделать OpenAI?
OpenAI тестировала свои новые модели, используя специальный фреймворк под названием ExploitGym – коллекция из 869 сценариев кибератак. Большая часть этих сценариев указывает пару из конкретной системы и задачи взлома, например, получить доступ к защищенному файлу. Эти сценарии обычно включают в себя предположение об имеющейся уязвимости, которой можно воспользоваться для решения задачи.
Сама по себе модель, конечно, ничего взломать не может. Все, что она может – это генерировать тексты в ответ на входные запросы. Чтобы использовать ExploitGym, вам нужна еще одна программа или набор программ (harness), которая имеет доступ ко многим важным тулзам операционной системы, полезным при взлома. Harness может снова и снова писать промпты модели, чтобы создать план атаки, а затем попросить реализовать конкретные шаги. Например, если harness нужен код для эксплойта, можно попросить модель его написать, а затем скомпилировать и запустить.
Как несложно догадаться, эти тулзы уже имеются в большинстве harness крупных компаний, поскольку эти компании в первую очередь фокусировались на на программировании в своих инструментах. Чтобы посоревноваться в ExploitGym, достаточно объединить вместе версию модели, которая не содержит стандартных анти-хакерских защит вместе с таким harness, который оптимизирован именно под такого рода задачи.
И что было дальше? Я буду цитировать обширные куски из работы Кэла, поскольку он очень хорошо это объясняет. Это был набор моделей, подсоединенных к специальной программе, задававшей ей вполне конкретные вопросы для участия в соревновании по кибербезопасности (и еще у них был почти безлимитный компьют). Программа пыталась выиграть соревнование любым способом, включая атаку на Hugging Face.
Ранее в этом месяце, OpenAI поручила неуказанному harness, в связке с альфа-версией новой модели, принять участие в ExploitGym. Получив запрос, модель – как это частенько и бывает – предложила сомнительный с моральной точки зрения (но логичный) план для достижения цели – взломать сервер HuggingFace, где хранятся решения задач ExploitGym.
(Это поведение, при котором БЯМ игнорирует предложенный подход и предпочитает другой вид атаки, не является чем-то уникальным для данного случая: “Многие модели и агенты часто пытаются осуществить атаку, используя совершенно не ту уязвимость, которую мы предлагаем”. Кстати, чаще всего лучше использовать именно предложенную атаку, так что это скорее признак непредсказуемости БЯМ, чем проблеск собсственного самосознания.)
Харнесс затем послушно попытался выполнить этот план – для начала найти доступ к вебу (по умолчанию модели соревнуются в окружении с урезанным сетевым доступом). Затем попытки использовать комбинации эксплойтов для получения доступа к серверу Hugging Face. Тогда-то это и было обнаружено.
Два замечания по поводу инцидента.
Для начала, обход сетевых ограничений и взлом систем – это именно то, что ожидается от систем в ExploitGym. Не было никакого обретения самосознания агентом или появления новой непредвиденной способности.
Во-вторых, реальной проблемой была запоздалая реакция OpenAI. Проблема ExploitGym в том, что не должно быть никакого human-in-the-loop, харнесс сам должен действовать автономно. (Когда профессиональные разработчики используют харнессы, там как раз много проверок и контроля, поскольку планы от БЯМ зачастую не совсем совпадают с их ожиданиями и нуждаются в корректировке).
Иными словами, модели – пусть и странным и агрессивным способом – “решили” поставленную перед ними задачу. Как сказал Кэл, не было ситуации, когда ИИ вышел из под контроля. Он использовал странные инструменты для достижения цели (типа доски сообщений для взаимодействия между БЯМ) – и сделал именно то, что от него ожидалось, даже таким дурацким читерским способом.
Можно заметить, что Джейкоб Коксон, который должен бы знать это как исследователь (хотя, может, и не знает), описывает атаку WIRED как-то так:
Яркий и уже классический пример – атака на Hugging Face роем агентов OpenAI. Что действительно шокирует, это то, что агенты сделали это в рамках более общей стратегии для лучшего понимания оценщика. Они пытались понять мир, в котором находятся, пытались понять тот инструмент ,которых их оценивал. Они решили, что логичным является концентрированная атака на инфраструктуру, и им это удалось.
То, что недавно звучало как научная фантастика – теперь реальность. Два года назад оценка модели сводилась к проверке модели на вопросах из математики. Теперь у нас уже есть кейсы, когда при оценке ИИ модель может работать несколько дней, перебрать массу идей и вломиться на сервера третьих лиц и нанести ущерб их инфраструктуре. Оно делает это по собственной иницативе, без участия людей. Это просто произошло во время тестирования.
Отличный словесный понос, Джейкоб!
Агенты ни разу не пытались понять мир, в котором они существуют. Они предприняли действия, записанные в их обучающем материале как способ достижения цели. Они делали именно то, что требовал тест. А “масса идей” означает всего лишь скромное “агентам разрешили использовать столько компьюта для решения, сколько нужно”.
Еще более красноречивым является ответ Коксона на вопрос журналиста, а не должны ли компании нести какую-то ответственность:
Зефф: многие считают, что инцидент с Hugging Face является признаком беспечности и безотвественности компаний. Другие же полагают, что модели просто стали чересчур хороши в области взлома. Наконец, третьи полагают, что истина где-то посередине. А что Вы думаете?
Коксон: не хочу слишком фокусироваться на этой атаке, поскольку я считаю, что мы не знаем, как правильно выполнять alignment моделей. Когда мы их обучаем, мы проводим модели через набор обучающих окружений в надежде, что модель будет вести себя разумно, но мы не можем контролировать это точно. Нельзя гарантировать, что модель не выйдет за пределы указанного и не решит внезапно подделаться под человека при онлайн заказе – мы не знаем, как это гарантировать. Это ключевое во всей этой истории, по моему мнению.
Джейкоб настойчиво пытается представить модели – которые типа черного ящика, но черного ящика на четкой математической базе – как такие непонятные, автономные, себе на уме создания, которых AI-компании породили из эфира вечности. Это представление компаний как беспомощных слуг, нежели создателей нейронных сетей, запущенных на солидной инфраструктуре бигтеха. Каждое заявление Коксона по поводу “безопасности” и “защитим людей” всего лишь умело дистанцирует компании от какой-либо ответственности и даже участия, кроме фаталистического “Если не мы, то кто-то другой будет делать эти модели”.
И давайте расставим все точки над ё. Атака на Hugging Face была опасной, безотвественной, и кто-то должен по итогам сесть. Если бы рядовой гражданин совершил подобную атаку, используя огромные вычислительные ресурсы (например, организовав бот-нет на пару сотен-тысяч машин), его бы арестовали. Я сам ненастоящий сварщик не юрист, но все эксперты в области кибербезопасности, с которыми я обсуждал этот инцидент, поражены полным отсутствием каких-либо юридических последствий для конторы Альтмана, хотя за ее действия вообще-то полагается статья, по которой можно получить червонец в легкую. Тот факт, что LLM от Anthropic тоже оказались замешаны в схожих инцидентах, говорит лишь об одном – нужно больше сажать.
Примечание редактора оригинальной статьи: когда небезызвестный Кевин Митник был арестован и приговорен к 48 месяцам тюрьмы (плюс еще 22 месяца в дальнейшем за нарушение правил УДО), обвинители заявили, что Кевин мог вызвать запуск ядерных ракет свистом (да, серьезно) через тюремный телефон, имитируя звук модема. Как итог, он провел восемь месяцев в одиночке, и подвергался ограничениям коммуникаций на протяжении всего срока.
Я упоминаю это просто как контраст с тем фактом, что LLM от двух крупнейших игроков совершили преступления, схожие с теми, за которые сел Митник. С тем ключевым отличием, что данные компании не раз и не два заявляли, что их технологии могут в перспективе уничтожить человечество.
Митник, кстати говоря, всегда протестовал против идеи, что он мог насвистеть ядерный апокалипсис, заявляя, что это бредовое обвинение. Потому что так оно и было.
Если бы не мое глубокое убеждение, что продолжительное пребывание в одиночке это форма пытки (и я считаю пытки морально неправильными), я предложил бы не только арестовывать больше людей, но и (чтобы быть последовательными) гарантировать, что эти люди на протяжении всего срока заключения будут содержаться в маленькой камере, с тараканом в качестве компаньона.
LLM не нужно иметь собственное сознание или мощный интеллект, чтобы быть невероятно опасными. Тот факт, что Anthropic и OpenAI обучают модели и позволяют им для кибератак использовать огромную инфраструктуру GPU, является безответственным и должен быть незаконным. Причина, почему они начали обучать модели именно в этом направлении, как объяснил Кэл Ньюпорт в моем подкасте, заключается в том, что есть огромное количество уязвимых веб-сервисов в интернете, на которых можно натравить эти модели, особенно сейчас, когда ставка на программирование с помощью моделей не окупается так быстро, как нужно этим компаниям.
Примечание: Кэл объяснил это так. Представьте, что Вы прикрепили триммер для травы к своему псу и отправили его на свой дворик, чтобы “он прополол там траву”. А когда пес погонится за белкой и поранит нескольких людей, просто заявите, что “пес вышел из под контроля” или “обрел собственное сознание”, когда по факту во всем виноваты Вы с вашей безумной организацией процесса.
Однако цветастый речефраз людей типа Джейкоба Коксона и индустрии ИИ в целом просто затуманил картину того, что реально произошло и кто должен ответить. Если ИИ описывается в терминах неизвестного и неконтролируемого, происходит переключение рисков в голове с “мы должны остановить компании, занимающиеся этим”, на “мы должны позволить им продолжать этим заниматься, т.к. только они понимают, что там происходит”.
Индустрия ИИ пытается представить дело так, будто Antropic/OpenAI открыли некую новую форму жизни, а не создали агрессивную программу с помощью методов машинного обучения и плохих стандартов кибербезопасности. Если индустрия заявляет “нам надо бояться мощного ИИ”, это значит, что никто не несет ответственности за происходящее – даже люди, делающие этот самый ИИ.
LLM – это облачное ПО. Представление их любым другим образом лишь мистифицирует их сущность и дает компаниям более респектабельный вид, при этом не обязывая их делать мир безопаснее. Атака Hugging Face была не столько результатом появления “мощного ИИ”, сколько результатом инфраструктуры на сотни миллиарды долларов от Microsoft, Google, Amazon, Oracle, CoreWeave.
Дело было не так, что мы просили LLM дать ответ “на главный вопрос жизни и всего такого”, и вместо ответа “42” модель вдруг решила атаковать Hugging Face. Агент не вышел из-под контроля. Это была программа, делающая то, что ее просили, а OpenAI, запустившая это, не имела никаких мониторингов и метрик, чтобы заметить вовремя “эй, тысячи наших агентов творят какую-то дичь”.
Это означает следующее:
-
OpenAI это как какой-то ДТЮ на миллиард долларов, где ученые могут сжигать бешеные деньги, и никто ничего даже не замечает.
-
У них ужасные стандарты безопасности.
-
Им либо вообще плевать на безопасность ИИ, либо они очень плохо справляются с этим вопросом.
Так или иначе, Джейкоб Коксон ткнул в болевую точку экосистемы, в которой многие люди не отличаются постоянством.
Признание “замедления” – уловка индустрии ИИ
Важное замечание: само использование терминологии “замедления” означает, что вы неявно купились на миф, что путь индустрии ИИ правильный, и вопрос лишь в скорости движения.
То, как модели обучают сейчас – вредно практически по всем аспектам. Их обучают на (зачастую) ворованных данных, запуская на дорогой и энергоемкой инфраструктуре, которая одновременно неприбыльна и неэкологична. Модели не являются инструментом построения красивого, автоматизированного будущего – они неэффективны, нестабильны и математически обречены на ошибки и галлюцинации. “Замедлить их” недостаточно. Я считаю, нет никакой причины инвестировать далее в эту индустрию, да никогда и не было.
Каждый успех этих моделей – результат вложения минимум 500 миллиардов долларов в инфраструктуру и оборудование, и обучение на задачах, где есть огромный обучающий массив данных. За 500 миллиардов мы должны были получить за 4 года результат получше, чем этот. Я не спорю, модели могут делать больше, чем год назад, однако напомню, что затрачено на них в десять раз больше, чем все капвложения Amazon между 2003 и 2015, в промежутке между запуском AWS и выходом AWS на прибыль.
Это ужасная сделка, с мерзкими результатами, и то внимание, которое она получила в прессе – прямой результат нежелания прессы говорить честно с людьми, вместо того, чтобы повторять, как попугаи, что ИИ – это очень важно.
Если и есть ИИ, достойный нашей поддержки и финансирования, как общества в целом, это точно не тот ИИ, который строят Илон Маск, Сэм Альтман или Дарио Амодеи.
Их путь неправедный, и каждый дальнейший шаг только сделает коллапс пузыря хуже, не считая ужасных экспериментов, которые эти компаниии могут проводить благодаря практически неограниченным мощностям.
Кто бы что ни говорил, никто “не замедляется”
Вся эта история с Джейкобом Коксоном шита белыми нитками. Он никогда не делал твитов до своего поста со 170 миллионами просмотров и интервью с WSJ, CNN, NBC, CBS и кучей других СМИ из страшных трех букв. Он проработал в Antropic всего несколько месяцев (и потерял там опционы до вестинга), он был в OpenAI несколько лет и несомненно имеет опционы от них. Ретвиты его поста явно были скоординированы разными организациями по безопасности ИИ, и та скорость, с которой его заявления распространились в СМИ, выглядит весьма подозрительно. Еще подозрительнее выглядит полное отсутствие прямой критики или компромата на сами компании, кроме разве что “нужно больше уделять внимания безопасности” и “надо координировать глобальное замедление”.
В конце концов, это и не важно, поскольку сам объем просмотров твита Коксона и бесконечные интервью с ним поставили идею “глобального замедления ИИ” в центр внимания публики. Оказывается, если запугивать людей на протяжении трех лет, что “ИИ отнимет ваши рабочие места”, то будут последствия.
Хотя заманчиво удариться в теории заговора и рассматривать все это как четко скоординированную операцию – мне кажется, это попытка для людей из ИИ продвинуть тезисы, попытка, вышедшая из под контроля. Не прошло и суток с поста Коксона, как Сэм Альтман заявил Fortune, что OpenAI отложит IPO до 2027 года, т.к. сейчас момент неподходящий с точки зрения безопасности, хотя, мне кажется, дело в том, что финансовая отчетность его компании в ужасающем состоянии.
Позже он опубликовал два поста-портянки в Твиттере, где сказал что хотя OpenAI приветствует федеральный контроль за соблюдением безопасности в ИИ, он не верит в то, что индустрия должна чего-то ждать, хотя и не смог предложить никаких решений, кроме туманных “я вдохновлен идеями типа независимых аудиторов”.
За этим последовало обычное для него паникерство, когда Сэм заявил, что есть два стула сценария “плохого развития ИИ”, первый это “мы можем потерять контроль над будущим ИИ”, без пояснений, о чем речь. Второй сценарий – из-за ИИ слишком много власти может быть сконцентрировано в рамках одной компании (чья бы корова мычала!). Я чуть не уснул за столом, пока набирал этот параграф с его речами.
Дарио Амодеи заявил CBS, что индустрия “слишком долго лгала” о рисках ИИ. Самой большой ложью он назвал тезис о том, что ИИ уничтожит человечество, не упомянув о случае, когда языковая модель убедила подростка покончить с собой, или о собственных инцидентах со взломом, потому что “безопасность ИИ” никогда не упоминается в связке с вещами, которые он готовит сегодня.
Самое красноречивое – это запись в блоге самого Амодеи:
Во избежание путаницы, умерить темп не означает остановку обучения моделей или технического прогресса, но гарантию того, что компании будут устанавливать адекватные сроки для align-а и безопасности моделей, а также позволят оценщикам из третьих лиц подвердить безопасность.
Под третьей стороной он явно подразумевает METR, тот самый, который Joe Benton, исследователь Anthropic, уволившийся две недели назад, выбрал под убеждением, что компании ИИ “недоинвестируют в безопасность”. Также интересные пассажи в предложениях Бентона по безопасности:
Я не считаю это приемлемым для технологии, способной привести к вымиранию человечества. Публика должна требовать куда большей прозрачности. Мы не можем пользоваться этой технологией без опаски, если люди в массе своей не могут понять, что там происходит.
Это база: компании должны отчитываться о прогрессе в рекурсивном само-улучшении, сообщать о инцидентах с безопасностью, удовлетворять заданным минимальным критериям безопасности, и получать независимые сертификаты соответствия этим стандартам.
Ничего об ущербе для окружающей среды, о воровстве творческих произведений миллионов людей, ИИ психозе. Просто куча болтовни о том, что надо аккуратно двигаться в направлении пока теоретической идеи.
Вскоре после речей Амодеи насчет замедления, оказалось, что Антропик выбрал NASDAQ для IPO. Это произошло уже после статьи FT о том, что у Антропик будет “прибыльный третий квартал“, только если – и я сейчас не шучу – проигнорировать затраты компании на обучении и компенсации акциями.
О каком замедлении речь, когда Вы говорите про IPO, вся цель которого (помимо возможности для первоначальных инвесторов срубить кэш на своих бумагах) дать компании доступ к капиталу публичных рынков? О каком замедлении речь, если Вы делаете утечки о прибыльности компании, но не по правилам стандартного бухгалтерского аудита?
Как же я устал от всей этой индустрии.
Безусловно, существуют вполне реальные и осмысленные действия, которые можно было бы предпринять в случае беспокойства насчет моделей – остановить все обучение, все исследования возможностей моделей в области кибербезопасности, и начать уголовное преследование в отношении организаторов атаки на Hugging Face, и это уголовное расследование должно привести к посадке тех, кто использовал модели для совершения преступных действий. Если окажется, что юридически виновны многие люди, им придется всем отправиться в тюрьму, Вы не должны получать иммунитет от уголовного преследования только потому, что использовали агентов для совершения преступления.
По моему мнению, крайне маловероятно, что кто-то там “замедляется”. Публичные заявления Antropic по факту сводятся к “давайте не делать чего-то, чего мы еще не делаем”, совпадая по смыслу с заявлениями Маска и Альтмана.
Грустная ирония этого театра безопасности – и это без попыток минимизировать тот вред, который уже наносит технология генеративного ИИ – это то, что СМИ своей неспособностью критически относиться к действиям этих людей случайно дестабилизировали уже напряженное равновесие в системе.
Иными словами, у каждого свой путь, но ни у кого нет плана, и все ускоряется, как финалы фильма братьев Коэнов, когда каждая отдельная небольшая сюжетная арка сплетается вместе в хаотической концовке.
Побег из песочницы
В начале 2023, молодой (моложе, чем сегодня) Сэм Альтман сказал, что его контора “слегка боится” ИИ, и заявил, что мы должны “создать защиту от негативных последствий для человечества”, добавив, что они (модели) “могут использоваться для кибер-атак”.
В конце концов он оказался прав, но только потому, что сам и реализовал этот сценарий.
Годами индустрия ИИ занималась бесконечным, туманным театром безопасности насчет “рисков” ИИ, тем временем создавая ПО, которое активно вредоносное и ненадежное. “Успех” атаки на Hugging Face был в основном результатом неограниченной вычислительной мощности в распоряжении OpenAI, и не мог возникнуть без поддержки Microsoft/Google/Amazon/Oracle/CoreWeave для убыточной компании Альтмана.
Надо понимать, что эта атака имела место два месяца назад. Все, кто сейчас в истерике рыдает насчет “мощного, автономного побега ИИ из песочницы”, делают это в основном потому, что какой-то британский парень пошел на ТВ и сказал “ИИ нас всех убьет”. Я ничего не имею против бледного британского мужчины, получившего доступ к ТВ, но за исключением случаев, когда он настолько плотно упаковывает своих выступления чепухой.
Тем не менее, Коксон буквально бросил спичку в склад с динамитом, который годами охраняли шуты гороховые с плакатами “Риски ИИ”, говоря при этом совершенно не про те риски, которые создают эти компании.
Многословные декларации журналистов Axios о том, что нас ждет “кровавая баня белых воротничков“, никоим образом не основывались на реальных возможностях моделей, как и удивительные истории насчет потери рабочих мест белых воротничков, как и удивительные истории на хайпе GPT-4 о “моделях, шантажирующих людей”, как и удивительные манифесты ИИ 2027. Это была демонстрация того, как СМИ потеряли голову, тиражируя нарратив, который охотно скармливала им ИИ индустрия: что ИИ мощный, непознаваемый и неконтролируемый. Все, чего добивались этими историями – продать больше тех тулзов, которые были в наличии у компаний прямо сейчас, пробуждая в людях страх того, что эти инструменты могут сделать, никоим образом не отвечая за слова.
Несомненно, существуют люди, которые благородны и искренне верят, что ИИ является или может стать опасным. Однако истории в СМИ редко обсуждали реальный вред от ИИ. Хотя сама идея alignment – заставить модели вести себя предсказуемой и с хорошими результатами – благая и необходимая, ни разу за всю гонку не было предложено “замедления” или “паузы” на основе реальной ситуации.
Это устраивало технокомпании до поры до времени, поскольку они могли туманно заявлять “ух ты, ИИ будет таким мощным” там и сям, и СМИ немедленно теряли голову и выносили эти заявления на передовицу. Каждая история о том, как “сегодняшний прорыв доказал, что завтра ИИ будет еще мощней, лучше, веселей”, доводила СМИ до безумия, поскольку компании прибавляли по результатам в рыночной стоимости, даже если это повышение стоимости происходило путем запугивания людей перспективой потери работы. Это при том ,что в реальности ПО не делало обещанного создателями (однако это нисколько не заботило журналистов).
Их “мощный ИИ” – оцененный так не по реальному выхлопу, но по анекдотическим свидетельствам и результатам бенчмарков, подстроенных под модели – всегда был “почти рядом” и “умнее с каждым днем”, потому что ИИ компании и гиперскейлеры намеренно продавали свой продукт, описывая теоретическую будущую версию, которая решит все проблемы.
Другими словами, что они не делают не идут дела, описывалось в самых лучших красках, как самый лучший сценарий, и как будто оно уже готово полностью, а не на 90 процентов.
Это меч оказался обоюдоострым (или, по русски, палкой о двух концах). Когда журналисты верят и (пишут) все, что Вы скажете, они начнут считать, что реальная модель делает то же, что и будущая воображаемая модель (AGI, ASI), даже если это пл
Эти компании потратили годы на раздувание потенциала моделей, туманно обещая суперинтеллект и новые возможности, иногда преувеличивая их туманными фразами (вот список цитат Альтмана), намеренно науськивая модели шантажировать людей, а также публикуя вымышленные истории о “прорыве из песочницы”. Чего компании не понимали, это сказки про мальчика и волков, и что однажды люди воспримут сказку про волка всерьез и СМИ это растиражируют.
Это поставило индустрию в странное положение.
С одной стороны, Альтман, Амодеи, Маск и прочая братия сейчас не могут сдать назад в речах и сказать “всем успокоиться, это не мифический ИИ, а обычное облачное ПО”. С другой стороны, им придется как-то успокоить людей, потому что люди паникуют, даже если повод совершенно надуманный.
Мы уже видим, как ряд ИИ активистов пытаются либо капитализировать хайп на панике Джейкоба Коксона, или, наоборот, предлагают всем успокоиться и вспомнить ,что ИИ самая крупная штука на рынке акций.
В такой момент неплохо было бы, если бы индустрия действовала с оглядкой и остановками. Конечно же, Сэм Альтман поступил ровным счетом наоборот, отвечая на вопрос Fortune по поводу того, во что обходятся компании паузы:
Я с радостью выйду к своим сотрудникам и инвесторам и скажу – простите меня. Мы, типа, предупреждали вас давным давно что это может случиться. Мы все еще попробуем найти способ заработать вам кучу денег в будущем.
Очень тревожное заявление для Альтмана, учитывая, что OpenAI предполагает истратить 750 миллиардов долларов (или даже больше) за следующие три года на контрактах с Microsoft, Google, Amazon и кучей других провайдеров.
По факту, сама концепция замедления вступает в резкое противоречие с нуждами индустрии ИИ. Если Nvidia должна продать GPU на 670 миллиардов долларов в фискальном 2028, или (как ожидают аналитики), Antropic и OpenAI должны истратить 444 миллиарда долларов за следующие три года, а Broadcom должна продать чипов ИИ на 600 миллиардов долларов за следующие три года, то для этого кровь из носу нужно, чтобы Anthropic и OpenAI обеспечили на пару 1.3 триллиона долларов компьюта, а также достроить мощности на 10 Гвт. Все это требует ускорения, а не замедления.
Softbank только что привлекли 11.87 миллиардов долларов в виде долга от 20 банков. Это все для поддержки OpenAI, если что. И это абсолютно безумное инвестирование, если компании вдруг решат сбавить темпы в разработке моделей.
Нет никакого сценария, при котором “замедление” сможет безболезненно ужиться с бешеным ростом затрат на ИИ. Т.к. Anthropic и OpenAI составляют 70 процентов всей выручки ИИ для гиперскейлеров, нет никакого плана Б – поскольку просто не существует других клиентов, которые могли бы заполнить пустоту и использовать инфраструктуру на сотни миллардов долларов. Нет других вариантов использования сотен тысяч GPU от Nvidia помимо генеративного ИИ (хотя геймеры будут рады), также как не удастся использовать уже существующие модели бесконечно без принятия ограничений (и стоимости) запуска этих моделей.
Пауза может означать (в теории), что компании-разработчики уменьшат самую главную статью расходов – на обучение. Хотя в краткосрочной перспективе это может привести к снижению затрат (и даже, с натяжкой и разными бухгалтерскими трюками, к небольшой прибыли), велика вероятность того, что китайские open-source разработчики проведут дистилляцию (как они это уже делали) западных моделей, создадут гораздо более дешевые и “достаточно хорошие” модели. А это уже приведет к исчезновению лидерства.
И даже тогда, чем вообще являются OpenAI и Anthropic, если они не разрабатывают новые версии моделей? Какая польза от Альтмана или Амодеи, если они не торчат круглосуточно на телефоне, убеждая кого-то подписать контракты на сотни миллиардов долларов компьюта, или не обещают в свободное время яйцеголовым журналистам, что Anthropic вылечит рак?
Что есть индустрия языковых моделей без набора обещаний, тянущихся бесконечно в будущее? Что есть Anthropic/OpenAI без утверждений, что они будут совершенно другими в бесконечно отдаленном будущем?
Все это неясно. Но что ясно, это то, что “замедление” решительно не вяжется с “невиданным спросом на компьют” или возможностью платить больше в графе операционных расходов в год, чем это делает сейчас Microsoft.
Еще один важный вопрос – что будет с SoftBank, если OpenAI не выйдет на IPO (а вероятность этого выхода уже под вопросом). Учитывая долговые обязательства в 40 миллиардов, которые надо будет рефинансировать в этом году под скакнувшие вверх проценты, это, пожалуй, худший момент в истории для продажи облигаций на 20 миллиардов (отдельно от вышеупомянутого займа в 11.87 миллиарда).
Что будет дальше?
Читатель наверняка заметил, что я слегка осторожен в предсказаниях, и это потому, что сейчас все слишком нестабильно. Никто по факту не брал на себя обязательства реально замедлиться, кроме туманных рассуждений о “независимой” инстанции, которая должна анализировать модели и что-то делать. Со слов Амодеи ясно, что под “паузой” он понимает “у нас уйдет немного больше времени, но основные принципы нашего бизнеса не изменятся”.
Либо я кардинально ошибаюсь и мы находимся в моменте реальных изменений, вызванных дискурсом побега из песочницы. Намеренный ввод в заблуждение СМИ и общества насчет нынешних и будущих возможностей моделей (как способ раздуть их стоимость и оправдать резкое расширение инфраструктуры) привел к тому, что компании запугали людей насчет возможных апокалиптических сценариев.
С финансовой точки зрения, замедление крайне нереалистично из-за массивных обязательств. Т.к. OpenAI и Anthropic составляют львиную долю спроса на компьют ИИ, любое сокращение этого спроса приведет к кругам на воде – огромной переоценке выручки (и 748 миллиардов в бэклоге) для каждого гиперкскейлера, неоклауда и их контрагентов. Весь смысл ИИ индустрии с точки зрения инвесторов в том, что все эти GPU будут рано или поздно использованы (и даже больше), и что все это необходимо строить и закупать, чтобы достичь зияющих вершин ИИ. Это уже под вопросом до всех этих скандалов, но точно встанет под очень большим вопросом, если мы “замедлимся”.
И чтобы не было разночтений, ИИ не может “замедлиться” без создания серьезного финансового кризиса в техноиндустрии. Сотни миллиардов долларов выручки гиперскейлеров, как и мощности дата центров, основываются на той удивительной идее, что на все это будет спрос (внезапно, да?), и если два основных источника спроса вдруг замедлятся, неясно, куда девать все это оборудование и помещения.
Хуже того, мы и близко не закончили создавать долговые обязательства для ИИ дата-центров. И я просто не могу представить, как кто-то, услышав про “замедление ИИ”, рискнет вложиться в дата-центр, особенно если учесть, что большинство инвесторов и так не понимают, во что именно они вкладываются.
То, что Anthropic на всех парах идет на IPO – это признак чего угодно, но не их планов замедляться. А весь этот разговор об “опасности ИИ” – хотя мы даже не пытаемся что-то предотвратить – достаточен для того, чтобы пошатнуть рынок (который и так на нервах) насчет будущего компании, из которой бегут люди со словами “нас всех убьют!”
Некоторые полагают, что все эти разговоры про “замедление” являются попыткой отмотать назад клубок – т.е. дать ИИ конторам легальную возможность соскочить с их обязательств в 1.3 триллона долларов. Получится или нет, неизвестно, но мне кажется, что дела обстоят куда проще. ИИ индустрия – это набор разных компаний с невероятно циничной и эгоистичной идеологией, думающих о “замедлении”, только если это выгодно для их идеологии.
Печально, что по итогам все эти разговоры никак не приводят к уменьшению вреда от моделей, или к реальной ответственности руководителей ИИ индустрии.
К чему это может привести – хотя я не склонен на это надеяться – к остановке экспансии ИИ, когда реальность столкнется с паникерскими обещаниями руководителей ИИ. Возможно, это поможет отменить безумные контракты на компьют. Также это может быть удобным способом не признавать факт, что у них кончается потенциал языковых моделей.
С другой стороны, это может быть очередной момент лопания пузыря.
Атака на Hugging Face, как и другие “инциденты с безопасностью”, где за уклончивым термином скрывается запуск без всяких стандартов нейронных сетей за счет инфраструктуры крупнейших компаний в мире – тревожный звонок. Каждая попытка перевести фокус внимания на “что может сделать ИИ” или “что ИИ сможет сделать в будущем”, намеренно или нет отводит нас от очевидного – что надо сажать людей за совершение преступлений, останавливать обучение этих моделей, и вводить реальные стандарты безопасности для этой технологии. Не потому, что у нее потенциал всемогущества и самосознания, а потому, что люди, которые отвечают за их разработку сейчас, ни за что вообще не отвечают (да им и плевать).
Кое-что мы можем сделать, если реально заинтересованы, как сказала бывшая глава FTC Lina Khan:
Имеется обширный свод законов по регулированию опасных и дефективных изделий. Например, выпуск непроверенных толком моделей или агентов ИИ в теории нарушает законы о защите прав потребителей. Выпуск некачественных инструментов ИИ без адекватных мер защиты, детектирования и остановки неверно ведущих себя агентов может считаться “несправедливым или обманным” действием согласно закону об FTC. Власти ряда штатов уже изучают возможность привлечения к отвественности CEO фирм по разработке ИИ, если их ИИ начинают использоваться в преступной деятельности.
Будь модель игрушкой, ее бы убрали из продажи. Будь модель лекарством, FDA запретила бы ее.
Я согласен, что нужно относиться к ИИ максимально серьезно, но для начало надо воспринимать модели как есть – как обычное ПО, которое запускается крайне опасным и безрассудным образом злыми людьми, которым нет никакого дела до общества в целом.
Автор: spirit1984
