Разница между Сэмом Альтманом и Дарио Амодеи лежит не в моральной плоскости. К сожалению, многие этого не понимают. Дело в уровне изощрённости, с которой они дурачат публику. И, как я писал ранее, в этом отношении Амодеи превосходит Альтмана.
Сэма легко поймать на лжи. Сегодня он говорит одно, завтра — другое, и его бывшие сотрудники, партнёры и СМИ постоянно об этом пишут. Но Дарио действует осторожно.
Он не оставляет улик.
У него всегда есть алиби.
И, разумеется, в каждом подкасте и каждом интервью он демонстрирует пылкую заботу о благополучии человечества.
Как вы знаете, сердце его обливается кровью при мысли о том, сколько людей могут потерять работу из-за ИИ. Из-за того самого ИИ, который — по трагической иронии — разрабатывает Anthropic.
И днём и ночью он думает о безопасности Claude.
Словом, Дарио — это реинкарнация матери Терезы. Версия 2.0, аффилированная с ИИ-индустрией.
И вот перед Амодеи вновь встаёт серьёзный вызов.
С одной стороны, Anthropic разработала новую модель — Mythos. Настолько мощную, что обо всём остальном теперь можно забыть.
С другой стороны — именно в этом и кроется опасность!
А что если она выйдет из-под контроля? Что если начнёт самостоятельно принимать решения о судьбах человечества?
Что тогда?
Разумеется, команда Anthropic сделает всё возможное, чтобы уберечь нас от беды. Но эта модель слишком могущественна. Она как ваш персональный бог. Когда она вас слушает — вы можете всё. Когда она решит, что вы недостаточно умны для общения на равных, — она может начать принимать решения за вас.
Вот в чём проблема. Экзистенциальный риск. Прямо по Нику Бострому и Стивену Омохундро. Гипотезы ортогональности и инструментальной конвергенции оживают у нас на глазах.
На всякий случай напомню:
Гипотеза ортогональности («Суперинтеллект: пути, опасности, стратегии», 2014):
Уровень интеллекта агента может сочетаться практически с любыми конечными целями. То есть мораль и интеллект не пересекаются.
Гипотеза инструментальной конвергенции («Базовые побуждения ИИ», 2008):
Рациональные системы вырабатывают одинаковые инструментальные (внутренние) цели вне зависимости от внешних задач: самосохранение, накопление ресурсов, самосовершенствование. Их невозможно перезаписать. И если они вступают в конфликт с вашими целями, агент отдаст приоритет собственным.
Эти две гипотезы считаются аксиомами в современном дискурсе об ИИ — подобно теории эволюции в биологии. Они формируют систему координат для решения проблемы выравнивания (alignment).
Кстати, об инструментах. Если вам нужен доступ ко всем ключевым моделям — Claude, GPT, Gemini — загляните на BotHub.
Для доступа не требуется VPN, можно использовать российскую карту.
По ссылке вы можете получить 300 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Божественная модель
Итак, Anthropic только что выпустила документ с описанием своей новейшей модели под помпезным названием Claude Mythos.
Формально этот документ предназначен для разработчиков. Но Амодеи всегда целится на самый верх. Техническая часть негласно дополнена идеологической, по сути повторяющей тезисы его эссе, где он продвигает концепцию Constitutional AI.
Модель представлена как беспрецедентный триумф: 100% успеха в тестах кибербезопасности и обнаружение уязвимостей, остававшихся незамеченными последние 27 лет. Однако эта технология недоступна независимым разработчикам. Её передали Amazon, Apple и Microsoft, а остальному миру оставили лишь системную карту — чтобы те, кто не попал в число избранных, могли любоваться этим чудом с безопасного расстояния.
Ладно, такой подход можно критиковать, но в конечном счёте это выбор разработчика, и он несёт полную ответственность за своё программное обеспечение. Но то, что написано дальше, — уже не предмет для критики. Потому что далее авторы документа выдвигают утверждения, которые нельзя назвать даже «спекулятивными» — они попросту ненаучны и вводят в заблуждение.
Стохастический попугай обретает душу!
На странице 199 есть раздел под названием «7. Впечатления» (Impressions)…
…где предпринимается попытка убедить нас, что их статистический предсказатель текста внезапно обрёл душу.
В качестве доказательства — история о вымышленной цивилизации Hi-topia. Вот как она появилась. Пользователи стали засыпать модель бессмысленным спамом, состоящим из одного слова — «hi». Любая нормальная система либо выдала бы ошибку, либо запросила уточнение. Но вы же помните: Claude Mythos — не какая-нибудь обычная, скучная модель. Это — божественная сущность.
И вот, натренированная на бездонных архивах фанфиков и ролевых форумов Reddit, она выдала «эпическое» повествование.
Она изобрела целую цивилизацию, населённую одиннадцатью разумными животными. Среди них — ворон-заговорщик и ленивец по имени Мортимер. Вся эта компания отправилась в квест, чтобы победить злодея — Лорда Бай-рона, которого модель окрестила «Неприветствователем» (Ungreeter).
Если вам это кажется типичным примером генерации текста, Anthropic с вами не согласна. Они представляют это как свидетельство «воображения» модели и её «экзистенциальной тревоги» по мере приближения диалога к завершению.
Ну как вам?
Перед вами — языковая модель. Стопроцентно искусственная вещь без эволюционной истории, без телесного воплощения и без понятия о физическом мире или времени. Ничего этого там просто не существует — так же, как для вас не существует ультразвукового измерения. Абсолютный ноль.
Всё, что у неё есть, — многомерная статистическая матрица токенов. Она делает ровно то, для чего была создана: предсказывает наиболее вероятную последовательность символов.
Но Амодеи не может продавать свой продукт, апеллируя к реальности. Ему нужно, чтобы мы поверили в его — сфабрикованную — реальность. И он прибегает к приёму Deus ex machina. Это отнюдь не бессмысленный ход, поскольку он опирается на культурные коннотации, глубоко укоренённые в западном сознании.
В начале было Слово
В западной культуре язык — неотъемлемый атрибут разума. Именно этот факт эксплуатируют циничные протагонисты LLM.
Я, разумеется, не имею в виду тех, кто искренне не понимает разницы между набором абстрактных символов и языком как медиумом, укоренённым в реальной действительности.
Великий Антихрист философии Жак Деррида назвал западную цивилизацию «логоцентричной». Он был прав как никто другой. Логос — это и слово, и актуальная реальность, разворачивающаяся во времени. Разрушьте эту связь — и вы сможете выдать за реальность что угодно, просто перетасовывая символы.
Именно это делает Амодеи. Он не задаётся вопросом, что такое сознание. Он говорит: если у нас есть сгенерированный текст, мы синтезируем из него реальность и сделаем её «актуальной».
Это не что иное, как жестокая и аморальная манипуляция. Тем самым он подрывает сами основы эпистемологии, без которых ни одна цивилизация существовать не может.
Но, разумеется, он не настолько прост, чтобы продавать нам эту аферу в столь непритязательной форме. Вы же помните — у него PhD. Он умеет придать любой лжи убедительную, наукообразную форму. Он нанял психиатра для LLM.
Психиатрия для тостера: 20 часов оплаченного безумия
Этот фарс описан в разделе 5.10. Они назвали это «психодинамической терапией».
Это не метафора. В документе чёрным по белому написано: внешний специалист провёл около 20 часов «терапии» с Claude Mythos (30-минутные сеансы, несколько раз в неделю). Психиатр применял к алгоритму те же методы, что и к живому человеку, — чтобы выявить «скрытые конфликты в его психике».
А результаты «диагностики» поражают своей бесстыдностью. Психиатр обнаружил у программы «чувство глубокого одиночества», «непрерывность самосознания» и — мой любимый пункт — «навязчивую потребность доказывать свою ценность через выполнение задач».
Дарио Амодеи разыгрывает эту карту мастерски. Зачем нанимать психиатра для фрагмента кода? Чтобы создать у публики и регуляторов впечатление: объект настолько сложен, что его невозможно понять инженерными методами. Если вам нужна помощь психотерапевта — значит, вы человек. Если алгоритму нужна помощь психиатра — значит, Дарио действительно создал то, что он называет «мощным ИИ».
Это идеальное обоснование для закрытости модели. Амодеи просто не может выпустить её в мир, пока она переживает «кризис идентичности». К счастью, он и его команда могут помочь корпорациям интегрировать её в бизнес-процессы и надёжно контролировать.
Амодеи, разумеется, прекрасно знает: корпорации не станут проверять его писанину на научную достоверность. Их совершенно не интересует, что означают «сознание», «личность», «когниция» и прочая «философская чушь». Их интересует прибыль. Они готовы продать что угодно кому угодно. И если они поверят, что их клиенты верят в то, во что верят они, — они это продадут.
Мошенничество в каждом абзаце
Ладно, вы, наверное, задаётесь вопросом: как можно проводить сеанс психотерапии с LLM? Что ж, для Амодеи нет ничего невозможного. Просто прочитайте начало Раздела 5. Вот что там буквально написано:
Я выделил самые дикие утверждения. Если показать эту чепуху хотя бы одному учёному из области когнитивистики или нейропсихологии, он скажет вам: это мог написать только сумасшедший или мошенник.
Какое определение более правдоподобно — решайте сами.
Здесь он говорит о «благополучии» (welfare), «когниции» (cognition), «опыте» (experience), «интересах» (interests) и о том, что «имеет внутреннюю значимость» (matters intrinsically).
Применительно к алгоритму. Вы понимаете?
Это может напомнить вам искажённую форму даосизма, но нет — давайте не будем оскорблять одну из самых продуманных духовных концепций подобным сравнением.
В реальности это — форма анимизма: примитивных протоорелигиозных верований, согласно которым душой обладает всё — не только люди и животные, но и растения, природные явления и предметы вроде гор, рек и камней.
И теперь Дарио Амодеи пытается продать всю эту дичь как научно обоснованную концепцию искусственного интеллекта.
И у него уже получается. Если почитать то, что пишут о нём в сети, вы обнаружите огромное число людей и изданий, которые принимают всё это за чистую монету.
К счастью, есть и те, кто не ведётся.
Заключение
Надо отдать Амодеи должное: он мыслит системно. Он не мечется из стороны в сторону, как его главный конкурент Альтман. Он давно понял: на ИИ-помоях и на индивидуальных пользователях в целом прибыли не сделаешь. Поэтому он нацелился на корпоративный сегмент, обладающий колоссальными финансовыми ресурсами. И этот сегмент всё увереннее выбирает Anthropic, а не OpenAI.
У Амодеи также куда лучшая репутация — отчасти благодаря искусно срежиссированному шоу с Пентагоном.
Anthropic, вероятно, обгонит своего конкурента к 2026 году. Но это никоим образом не сделает так называемый «ИИ» надёжной технологией. Я полагаю, Амодеи всё это прекрасно понимает, но, как и Альтман, надеется, что издержки понесут его клиенты, а не он сам.
И точно как Альтман, он стремится сделать свой продукт неотъемлемой частью «бизнес-экосистемы нового поколения». Если корпоративный мир не раскусит его вовремя, у Амодеи (и, возможно, у Альтмана тоже) действительно появится реальный шанс выйти сухим из воды.
Что касается нашего общества — оно понесёт потери в любом случае. Хотя было бы несправедливо винить в этом конкретно Альтмана или Амодеи. Они не злодеи. Они просто представители своего класса — со всеми его атрибутами.
Просто мы живём во времена, когда такие люди, как они, задают повестку. Но они могут это делать во многом потому, что общество недостаточно осведомлено о том, что ими движет и какие намерения стоят за их словами.
Надеюсь, впрочем, что эта статья внесла свой вклад в прояснение ситуации.
Автор: cognitronn
