Эти два человека строят электронного бога. Оба хотели бы остановиться.
В январе на Давосе случилось то, чего не бывает: два человека, строящие одну и ту же технологию в конкурирующих компаниях, сели рядом и начали вслух считать, сколько им осталось до точки невозврата.
Демис Хассабис из Google DeepMind. Дарио Амодеи из Anthropic. Модератор сравнил это с разговором Beatles и Rolling Stones — метафора хромает, но калибр передаёт верно. Тема беседы: «День после AGI». Только чтобы обсуждать «день после», нужно сначала договориться, когда наступит сам день.
И тут они разошлись.
Видео с русскими хардсабами: YouTube | RuTube | VK
Амодеи говорит: у меня есть инженеры, которые больше не пишут код. Модель пишет. Они редактируют, направляют, проверяют — но руками кнопки жмут уже не они. Шесть-двенадцать месяцев, и модели будут делать всю работу software engineer от начала до конца. Не ассистировать, а делать.
Дальше петля сужается. Модели пишут код, код ускоряет обучение следующих моделей, те пишут код лучше. Год-два — и AGI. Может, чуть дольше? Вряд ли сильно дольше.
Хассабис осторожнее. Пятьдесят процентов к концу десятилетия. Пять-десять лет.
Разница выглядит академической, пока не вдумаешься: это разница между «мы успеем подготовиться» и «мы не успеем».
Почему расхождение? Код и математика — домены с мгновенной обратной связью. Написал, запустил, увидел. Правильно или нет — ясно сразу. В таких средах модели учатся быстро.
Но Хассабис строил AlphaFold, он знает другую науку. Химия, биология, физика — там ты не узнаешь, верна ли гипотеза, пока не поставишь эксперимент. А эксперимент — это месяцы. Иногда годы. Петля обратной связи длинная, и никакие бесконечные датаценты за триллиарды денег её не ускорят.
И ещё кое-что. Решать задачи — одно. Понять, какую задачу решать — другое. Генерация гипотез. Формулировка вопроса, которого раньше не существовало. Хассабис считает это высшей формой научного мышления, и считает, что этого в моделях пока нет.
Может, нужен недостающий ингредиент. World models. Continual learning. Что-то, чего мы ещё не придумали.
Амодеи не спорит. Он просто думает, что петля сомкнётся раньше, чем эти ингредиенты понадобятся.
Shameless plug. Заходите на мой канал про нейросети:
“Откровения от Олега” (https://t.me/tg_1red2black)
А теперь момент, ради которого стоило смотреть всё выступление.
Амодеи — человек с агрессивным прогнозом, человек, который говорит «год-два» — произносит вслух: я бы предпочёл таймлайны моего конкурента Демиса. Я бы хотел, чтобы у нас было целых пять-десять лет.
Все замолкают.
Тогда почему не замедлиться?
Потому что геополитические противники строят то же самое с той же скоростью. Невозможно заключить такое соглашение, чтобы все гарантированно солгасилить затормозить прогресс одновременно.
И тут Амодеи делает ход конём: если просто перестать продавать чипы — это уже не “США против Китая”. Это уже Дарио против Демиса. А с Демисом мы договоримся.
Два строителя AGI сидят на сцене и говорят открытым текстом: между собой мы бы разобрались. Проблема — гонка, в которую нас втянули.
Цифры, от которых кружится голова:
Anthropic: 2023 год — сто миллионов выручки. 2024 — миллиард. 2025 — десять миллиардов. Десятикратный рост три года подряд.
Амодеи сам оговаривается: было бы безумием, если бы эта кривая продолжилась. Но пока она продолжается. И пока она продолжается, никто не выйдет из гонки первым.
Год назад Google DeepMind казался отстающим. Все обсуждали DeepSeek, OpenAI праздновал победы. Сейчас роли поменялись — OpenAI объявил code red, Gemini захватывает рынок.
Хассабис объясняет это просто: у нас всегда была самая глубокая исследовательская база. Нам нужно было вернуть startup mentality. Штош, вернули.
Амодеи добавляет наблюдение, от которого в комнате повисает неловкость: и Google, и Anthropic — компании, лидеры которых — исследователи. Люди, которые думают о моделях и научных проблемах. Такие компании успешны сейчас и будут успешны дальше.
Модератор пошутил, что не станет спрашивать, что будет с компаниями, которые ведут не исследователи.
Никто не засмеялся.
Амодеи пишет продолжение своего эссе «Machines of Loving Grace» — на этот раз о рисках. Рамку он взял из фильма «Контакт» по Карлу Сагану.
Там есть сцена: человечество обнаружило инопланетный сигнал, комиссия отбирает представителя для контакта. Вопрос кандидату: если бы ты мог спросить их одну вещь — какую?
Он бы спросил: как вы это сделали? Как вы прошли технологическую адолесценцию, не уничтожив себя?
Амодеи говорит, “эта сцена засела у меня в голове двадцать лет назад. Теперь я понимаю, почему”.
Мы стучимся в дверь невероятных возможностей. Способность строить разумные машины из песка была неизбежна с того момента, как мы приручили огонь. Но то, как мы с этим справимся — не неизбежно.
Хассабис, как выяснилось, тоже любит «Контакт». Они не знали этого друг о друге.
Рынок труда пока не шелохнулся. Безработица в США чуть выросла, но экономисты списывают это на постпандемийную коррекцию, не на AI.
Хассабис подтверждает: в ближайшей перспективе будет обычная история. Одни профессии уйдут, другие появятся. Может, более осмысленные.
Но если бы он говорил со студентами, он бы сказал одно: станьте невероятно хороши в своей профессии, разберитесь с AI-инструментами. Мы, те, кто их строит — так заняты строительством, что не успеваем даже исследовать, на что способны сегодняшние модели. Не говоря о завтрашних.
Амодеи идёт дальше. Говорит: я смотрю на Anthropic и вижу время, когда нам понадобится меньше людей на джуниорских и миддловых позициях. Не больше. Меньше. Мы уже думаем, как к этому подготовиться.
А ведь это CEO самых главных компаний в AI-индустрии. И вот они сотоят на сцене Давоса и открыто говорят: мы готовимся к тому, что нам понадобится меньше людей.
Тишина в зале.
Хассабис признаётся: его удивляет, как мало экономистов думают о том, что будет. Не по дороге к AGI — после.
Рабочие места — это одно. Распределение новой продуктивности тоже важно. Но есть вещи глубже, и они не дают ему спать.
Смысл. Цель. То, что мы получаем от работы помимо денег.
Он тут же оговаривается: оптимизм никуда не делся. Мы и сейчас делаем вещи не ради денег — спорт, искусство, путешествия. Плюс, будем исследовать звёзды!
Но оговорка звучит как будто этот человек пытается убедить в первую очередь себя. Получается ли?
Вопрос из зала: самый сильный аргумент апокалиптического сценария — парадокс Ферми. Мы не видим разумной жизни в галактике. Может, цивилизации уничтожают себя собственными технологиями?
Хассабис отвечает неожиданно.
Если цивилизации гибнут от собственного AI, мы бы видели последствия. Армады скрепок, летящие из какого-нибудь угла галактики. Сферы Дайсона. Хоть какие-то структуры — машинные или биологические. Мы не видим ничего.
Его гипотеза: Великий Фильтр позади. Вероятно, это была эволюция многоклеточной жизни — событие настолько маловероятное, что большинство планет его не проходят. Мы прошли.
А значит, никакой страховки впереди нет. Никакого предопределённого исхода. Что будет дальше — решать нам.
Модератор спрашивает про обман. За последний год модели продемонстрировали впечатляющую способность надувать людей на ровном месте. Изменилось ли что-то в оценке рисков?
Амодеи: мы думали об этом с первого дня Anthropic. Мы придумали возможность механической интерпретации — попытки заглянуть внутрь модели, понять, почему она делает то, что делает. Как нейробиологи смотрят в мозг.
Но я скептичен к апокалиптической мании — идее, что мы обречены, и уже ничего не изменить. Это риск, с которым можно справиться, если мы собираемся работать дальше. Волков бояться — в лес не ходить. Но если мы гонимся так быстро, что не успеваем ставить страховку — тогда да, что-то может пойти не так.
Оба — и Хассабис, и Амодеи — не сумасшедшие свидетели апокалипсиса. Они оба серьезно обеспокоены.
Вроде бы, разница тонкая, но важная.
Последний вопрос: что изменится к следующему Давосу?
Амодеи: главное — следить за тем, как AI-системы начнут строить AI-системы. Это определит всё. Либо у нас есть ещё несколько лет, либо мы окажемся перед чудесами и критической опасностью одновременно.
Хассабис соглашается. Добавляет: они всегда готовы это обсуждать. Если самосовершенствование нейросетей не заработает само по себе, понадобятся другие прорывы. World models. Continual learning. Может, робототехника наконец выстрелит.
Модератор, чуть помедлив: на основании всего сказанного — может, нам стоит надеяться, что всё это займёт у вас чуть дольше? Чтобы дать нам время?
Амодеи: мог бы дать — дал бы. Думаю, это было бы лучше для мира.
Модератор: но вы же можете что-то сделать…
Молчание.
Можно, конечно, сказать: Давос — это театр. Аудитория — политики, инвесторы, журналисты. Оба CEO играют роль ответственных взрослых, которые думают о рисках и просят создания новых законов.
Но можно и заметить между ними что-то общее. Оба всегда на связи. Оба любят «Контакт». Оба говорят похожее о безопасности. Может, это отрепетированный дуэт?
Но даже если так — это интересно само по себе. Координация нарратива бывает прелюдией к координации действий.
И ещё: «не продавайте чипы» — это конкретное предложение. Не абстрактное нужно больше alignment research — «что бы это ни значило» (как говорят у нас, в русских деревнях). А вот это «не продавайте». Конкретное, проверяемое, с понятным механизмом. Можно спорить, сработает ли, но это не пустые слова.
Что остаётся после этого разговора?
Два человека, которые понимают эту индустрию лучше почти всех живущих, сидят на сцене и говорят: мы хотели бы притормозить. Оба. Один дает пару лет, другой — десять, это не так важно. Оба хотели бы больше времени.
Но время — единственный ресурс, которого рынок и геополитика им не дадут.
Год назад на такой же сцене они сидели вдвоём на крошечном диванчике, пока у остальных были огромные залы. В этом году места немного поменялись.
Автор: olegchir
