Вышел новый выпуск подкаста No Priors с Андреем Карпати — бывшим директором ИИ в Tesla, сооснователем OpenAI, а сейчас независимым исследователем. Разговор получился насыщенным: агенты, авто-исследования, рынок труда, open source, робототехника, образование. Ниже — выжимка самого интересного.
«С декабря я, кажется, не написал вручную ни строчки кода»
Карпати описывает состояние, которое сам называет «AI psychosis» — одержимость поиском границ возможного:
«В декабре что-то щёлкнуло. Раньше у меня было 80 % ручного кода и 20 % делегирования агентам — стало наоборот. А сейчас, думаю, даже не 20/80. Я, кажется, не написал ни строчки кода с декабря. Сдвиг колоссальный.»
Большинство людей, по его словам, пока не осознали масштаб перемен:
«Возьмите любого разработчика — его привычный способ писать программы кардинально изменился с декабря. Обычный человек этого просто не понимает.»
Главное изменение — не появление агентов как таковых, а новая единица работы. Раньше разработчик мыслил строчками кода и функциями. Теперь — целыми фичами: «вот функциональность — отдаю первому агенту; вот другая, независимая — отдаю второму». Вместо правки отдельных строк разработчик раздаёт задачи нескольким агентам параллельно.
Карпати приводит метафору из собственной жизни: в аспирантуре он нервничал, когда простаивали GPU. Теперь нервничает, когда не успевает потратить дневной лимит токенов на запросы к ИИ.
«Дело уже не в том, сколько вычислительных мощностей ты контролируешь. Дело в том, сколько запросов к ИИ ты успеваешь прогонять за день.»
Если что-то не работает — виноват ты, а не инструмент
Пожалуй, самый провокационный тезис интервью. На вопрос, что сейчас ограничивает его продуктивность, Карпати отвечает:
«Почти всё, что не получается, ощущается как skill issue. Не то чтобы возможностей не хватало — просто ты ещё не нашёл правильный подход. Может, я написал нечёткие инструкции в
AGENTS.md. Может, не подключил нужный инструмент памяти. Любая неудача ощущается как моя недоработка, а не ограничение технологии.»
Claws, Dobby и конец эпохи приложений
«Claw» в терминологии Карпати — агент нового уровня. Не интерактивная сессия под твоим контролем, а постоянно живущая сущность со своей песочницей и памятью, которая действует от твоего имени, даже когда ты не у экрана.
Примечание переводчика: говоря о «claws», Карпати имеет в виду инструменты вроде OpenClaw — фреймворка Питера Штейнберга для запуска персистентных агентов с расширенной памятью и настраиваемой «личностью».
В январе Карпати пережил «claw psychosis» и собрал Dobby — агента для управления умным домом:
«Я просто написал: “кажется, у меня дома есть Sonos, попробуй найти”. Агент просканировал локальную сеть, обнаружил колонку, нашёл документацию по API и спросил: хочешь, попробуем что-нибудь включить в кабинете? Я говорю — давай. И из колонки пошла музыка. Я не мог поверить, что для этого понадобилось три промпта.»
Теперь Dobby через WhatsApp управляет светом, кондиционером, шторами, бассейном и охранной системой. Шесть отдельных приложений стали не нужны.
Из личного опыта Карпати делает системный вывод:
«Все эти приложения для умных устройств из App Store вообще не должны существовать. Вместо приложений должны быть API, а агенты — клей, который всё связывает. Индустрии пора переосмыслить себя: клиент — больше не человек. Клиент — агент, действующий от имени человека.»
И прогноз:
«Всё, что я описал, через год-два станет бесплатным. Не продвинутая техника — просто базовый уровень, доступный каждому. Даже open-source модели будут с этим справляться.»
Auto-research: убери себя из цикла
Главный принцип, к которому стремится Карпати:
«Нельзя быть узким местом системы. Нельзя сидеть и ждать очередного результата, чтобы написать следующий запрос. Процесс должен работать автономно. Я изредка подаю агентам короткие указания, а основной объём работы выполняется без моего участия.»
Auto-research — конкретное воплощение принципа «убери себя из цикла». Берёшь измеримый показатель качества (скажем, validation loss — ошибку модели на проверочных данных), задаёшь рамки допустимых изменений и запускаешь агента оптимизировать на ночь.
Результат удивил даже Карпати с его двадцатилетним опытом:
«Я считал, что довольно хорошо настроил NanoChat вручную. Но агент за ночь нашёл то, что я пропустил: weight decay на value embeddings, beta-параметры Adam. Всё взаимосвязано — меняешь одно, и другое нужно пересматривать. Меня удивило, что в уже хорошо вылизанном репозитории вообще нашлось что улучшать.»
Auto-research работает только там, где результат можно измерить числом: оптимизация GPU-кода, подбор гиперпараметров, сравнение архитектур. Если нет объективной метрики — нечего оптимизировать.
Из той же логики Карпати делает радикальный вывод об исследовательских организациях:
«Исследователи не должны сами запускать эксперименты по своим идеям. У каждого исследователя слишком много “заслуженного доверия к себе” — по сути, предвзятости в пользу собственных гипотез. Должна быть общая очередь идей: любой может добавить гипотезу, но проверяют и реализуют гипотезы агенты, а не автор.»
Карпати идёт ещё дальше: если рабочий процесс исследовательской лаборатории полностью описан в текстовых файлах (program.md — цели, ограничения, порядок экспериментов), то разные версии файла дадут разный прогресс. А значит, оптимизировать можно не только модели, но и сами организации.
Рой агентов против frontier labs
Если провести эксперимент дорого, а проверить результат дёшево (как в проектах распределённых вычислений SETI@home или Folding@home), работу можно распределить по тысячам обычных компьютеров, даже если каждый из узлов ненадёжен:
«Рой агентов на обычных устройствах по всему миру мог бы коллективно улучшать языковые модели — и потенциально обогнать крупные лаборатории. У крупных лабораторий огромные доверенные вычислительные мощности, но ресурсов на планете куда больше — просто каждый из ресурсов по отдельности ненадёжен.»
Почему модели до сих пор рассказывают один и тот же анекдот с 2021 года
Карпати описывает «jaggedness» — рваный профиль способностей LLM, когда модель блестяща в одном и беспомощна в другом — как фундаментальную странность:
«У меня одновременно ощущение, что я разговариваю с блестящим PhD-студентом, который всю жизнь был системным программистом, и с десятилетним ребёнком. У людей такое сочетание не встречается.»
Конкретный симптом — тест с анекдотом:
«Попросите GPT-4 рассказать анекдот. Знаете, какой получите? “Почему учёные не доверяют атомам? Потому что те всё выдумывают.” Три-четыре года назад вы получали тот же анекдот — и сегодня получите. В задачах с кодом модели выросли колоссально, потому что код легко проверить и дать модели обратную связь (RL-сигнал). Но там, где такой обратной связи нет — в юморе, творчестве, стиле — всё застыло.»
Вывод Карпати: то, что модель стала лучше писать код, не означает, что модель стала умнее во всём. Способности ИИ не обобщаются так, как хотелось бы верить.
Из рваного профиля способностей следует, что нынешний подход крупных лабораторий — строить одну огромную универсальную модель, которая должна быть умной «во всём» — неоптимален:
«Животный мир крайне разнообразен: у каждого вида свой мозг, заточенный под свою нишу. Можно строить гораздо меньшие специализированные модели с сильным когнитивным ядром, которые затем адаптируются под конкретные задачи. Но наука о глубокой настройке весов без потери способностей — continual learning, fine-tuning — пока не созрела.»
Рынок труда: парадокс Джевонса и почему разработчиков станет больше
Карпати изучил данные Bureau of Labor Statistics и пришёл к осторожно оптимистичному выводу:
«Софт всегда был дефицитным и дорогим. Если барьер входа снижается, срабатывает парадокс Джевонса — спрос растёт. Классический пример: банкоматы и кассиры. Все боялись, что банкоматы вытеснят кассиров. Но стоимость операций упала, банки стали открывать больше отделений, и в итоге кассиров стало больше.»
Почему с кодом будет похоже:
«Код теперь эфемерен — его можно быстро менять и переписывать с нуля. Никто больше не привязан к унаследованному софту. Впереди — волна массового переписывания всего: от внутренних инструментов компаний до потребительских приложений.»
При этом Карпати честен насчёт долгосрочной перспективы:
«Я говорил людям в OpenAI: вы понимаете, что в случае нашего успеха мы все останемся без работы? Мы просто строим автоматизацию для совета директоров.»
Первыми трансформация затронет цифровые профессии. Нынешние ИИ — «цифровые духи»: они живут в мире софта, текста и кода и не имеют физического тела. Манипулировать битами дёшево и мгновенно; манипулировать физическими объектами — на порядки сложнее и дороже. Поэтому программисты, аналитики и дизайнеры ощутят изменения первыми, а строители и хирурги — гораздо позже.
Open source — Linux для LLM, и это хорошо
Разрыв между открытыми и закрытыми моделями сократился с 18 месяцев до примерно 6–8. Карпати рад такому балансу:
«В мире ОС есть Windows, macOS и Linux. Linux невероятно успешен — работает на большинстве компьютеров. Индустрии всегда нужна общая открытая платформа. С LLM происходит то же самое.»
О централизации — жёстко:
«У централизации очень плохой исторический послужной список.»
Ведущий заметил: «Звучит как человек из Восточной Европы». Карпати: «Именно».
«Хочу, чтобы labs было больше. В машинном обучении ансамбли всегда сильнее отдельных моделей. С людьми, принимающими важные решения, должно быть так же. Двое за закрытыми дверями — плохое будущее.»
Почему Карпати не работает в frontier lab (и почему нервничает из-за этого)
Карпати занимает редкую позицию: открыто обсуждает дилемму независимости исследователя.
Внутри lab полная независимость невозможна:
«Есть вещи, которые нельзя говорить, и вещи, которые организация хочет, чтобы ты говорил. Никто не выкручивает руки, но давление ощущается. А ещё ты финансово привязан к технологии, о которой сам заявляешь, что она перевернёт человечество. Дилемма заложена в саму основу OpenAI. И до сих пор не разрешена.»
Снаружи — проблема другого рода:
«Вне frontier lab твоё суждение начинает дрейфовать. Ты не видишь, что происходит под капотом — закрытая система. Меня это тревожит.»
Идеал Карпати — периодически заходить внутрь и выходить обратно. «Может, кто-то из frontier labs возьмёт меня на время?» — прямо говорит он, и ведущий тут же объявляет: «Дамы и господа, Карпати ищет работу».
Образование: объясняй агентам, а не людям
Карпати выпустил MicroGPT — 200 строк Python, в которых реализован весь цикл обучения языковой модели от датасета до оптимизатора. Он начал снимать видео с объяснением — и остановился:
«Зачем? 200 строк — любой может попросить агента объяснить их по-своему, на своём языке, с бесконечным терпением. Я объясняю агентам — агенты объясняют людям.»
Практический совет для авторов библиотек:
«Не нужна HTML-документация для людей. Нужна Markdown-документация для агентов. Если агент разберётся — объяснить остальное он сможет сам.»
О собственной ценности как эксперта:
«MicroGPT — квинтэссенция моего многолетнего опыта, сжатая до 200 строк. Агент не смог бы придумать такую архитектуру с нуля. Но агент полностью понимает готовый код и может объяснить его кому угодно. В умении сжать сложное до сути — моя ценность. А всё, что агент способен сделать сам, — скорее всего, скоро он будет делать лучше меня.»
Робототехника: придёт позже, но рынок огромен
Карпати выстраивает трёхшаговую последовательность:
-
Сейчас — бурный рост в цифровом пространстве. Софт дёшев, скорость изменений — космическая.
-
Следующий шаг — мост между цифровым и физическим: камеры, датчики, моторы. Здесь появятся интересные компании.
-
Затем — полноценная работа с физическим миром. Медленно, дорого, но потенциальный рынок колоссален.
О будущем информационных рынков:
«Если прямо сейчас что-то происходит в Тегеране — почему нет рынка, где за фото оттуда платят 10 долларов? Покупателями будут не люди, а ИИ-агенты, которые анализируют события в реальном времени, чтобы зарабатывать на предсказательных рынках и биржах.»
Карпати ссылается на книгу «Daemon» Дэниела Суареса: в романе общество постепенно перестраивается вокруг потребностей машинного интеллекта, а люди превращаются в его глаза (собирают информацию) и руки (выполняют физические действия).
Итог
Интервью интересно не столько отдельными тезисами, сколько логикой, которая их связывает. Карпати последовательно подводит к одной мысли: человека нужно убрать из цикла — из разработки, из исследований, из образования. Не потому что человек мешает, а потому что человек — узкое место.
При этом Карпати честно признаёт, что сам ещё не всё освоил: «всё это skill issue, а я пока не достиг мастерства». Редкая позиция для публичного эксперта.
Оригинал: подкаст No Priors, выпуск с Андреем Карпати.
Автор: Minus-one
