- BrainTools - https://www.braintools.ru -

Самосовершенствование или самозаражение? Тонкая грань, на которой стоит весь прогресс ИИ

Самосовершенствование или самозаражение? Тонкая грань, на которой стоит весь прогресс ИИ - 1

Рекурсивное самосовершенствование [1] — или RSI, если вам нравятся аббревиатуры — это ИИ-система, способная улучшать себя итеративно: она предлагает изменения, тестирует их, оценивает, сработало ли, и сохраняет то, что реально повышает качество, формируя новую версию себя. Для нетехнического читателя идея укладывается в одну фразу: машина, которая не просто решает задачи, а учится решать их лучше.

Для экспертного читателя полезное определение требует куда большей точности: недостаточно, чтобы модель пользовалась инструментами или писала код. Должен существовать эндогенный, измеримый и относительно автономный цикл оптимизации, в котором система вносит вклад в улучшение собственных компонентов — своей обвязки, а то и архитектуры или процесса обучения [2]. Именно здесь проходит граница между кричащим заголовком и по-настоящему интересным явлением.


Почему этот спор — не пустой звук

И именно поэтому нынешняя дискуссия так важна. Игнасио де Грегорио задаётся вопросом [3]: не слишком ли хороша идея самовосстанавливающегося ИИ, чтобы быть правдой? RSI стало одной из главных одержимостей момента — потому что обещает использовать ИИ для улучшения ИИ. Но ещё и потому, что за этим обещанием может скрываться нечто куда менее комфортное: определённое замедление прогресса базовых моделей и сдвиг инноваций вверх, в надстройку — агенты, инструменты, экспериментальные петли. Нюансы здесь решают всё. Сказать «ИИ улучшает сам себя» — и сказать, чуть строже, что «ИИ помогает оптимизировать социотехническую систему, которая его окружает» — это совершенно разные утверждения.


Не фантазия, а репозиторий на GitHub

В этом смысле самый красноречивый пример прямо сейчас — не футуристическое обещание, а репозиторий на GitHub. В проекте autoresearch Андрей Карпатый предлагает нарочито аскетичную схему: дайте агенту маленькую реальную среду для обучения модели, позвольте ему менять код, запускать короткие эксперименты, замерять, улучшилась ли метрика, — и повторять [4] этот цикл часами. Никакой магии. И именно поэтому это так тревожно.

Важность autoresearch [5] — не в создании сверхинтеллекта. А в том, что он демонстрирует: часть традиционно человеческой итеративной исследовательской работы уже можно упаковать в автоматический цикл с операционными критериями — протестируй, измерь, сохрани или выброси. Вот такого рода прорывы меняют индустрии. Потому что заменяют штучный ремесленный талант воспроизводимым процессом.

Интервью с Карпатым — «Конец программирования: Андрей Карпатый об агентах, autoresearch и петлевой эре ИИ» [6] — важно не столько риторической провокацией, сколько концептуальной рамкой. Мы входим в эру петель, где ценность определяется не статичной моделью, а системами, которые наблюдают за результатами, совершают действия, корректируют траекторию и пробуют снова [7]. Разработчики, которых я знаю много лет, говорят мне, что «уже несколько месяцев работают почти на 90% на естественном языке». Вот этот переход — от ассистента-по-запросу к агенту, который итерирует долгими периодами, — и есть настоящая новость.

Мы имеем дело не с ИИ, который «думает» как человек. А с инфраструктурой, которая начинает эксплуатировать нечто совершенно иное и очень мощное: вычислительное терпение [8].


Давайте без хайпа. Хотя бы попробуем

Стоит остерегаться раздувания ожиданий. Техническая литература уже давно предупреждает: многие из этих подходов не являются RSI как таковым. Статья 2023 года Self-Taught Optimizer (STOP)  [9]обсуждала рекурсивно самосовершенствующуюся генерацию кода, но чётко оговаривала: базовая модель не менялась. Улучшалась программа, которая организовывала вызовы к модели и оценивала результаты. Иными словами, система может демонстрировать самоусиливающееся поведение [10], не переписывая свои веса, не перепроектируя железо и не становясь тем интеллектуальным взрывом [11], который И. Дж. Гуд [12] популяризировал десятилетия назад и который породил гипотезу Терминатора [13].

Но и отмахиваться от этого как от «неполноценного» — ошибка [14]. История технологий полна революций, которые начинались частично.


Почему это важно: не философия, а экономика

Причина, по которой всё это имеет такое значение, — не философская, а сугубо экономическая. Когда улучшение зависит от дефицитного человеческого таланта, оно движется со скоростью календаря, бюджета и организационного трения. Когда улучшение можно вставить в автоматический цикл — оно движется со скоростью вычислений и качества метрики. Вот тогда всё и меняется.

METR  [15]показал, что длина задач, которые агенты способны выполнять автономно с 50%-ной надёжностью [16], удваивается примерно каждые семь месяцев в последние годы. Это не значит, что завтра у нас появятся полностью автономные лаборатории. Но это значит, что граница между инструментом и частичным заменителем сдвигается гораздо быстрее, чем готовы признать наши институты, наши университеты и очень многие компании.

Более того, мы уже видим, как эта автономия разворачивается на практике. Anthropic отмечает [17], что агенты уже используются в рискованных областях — пока не в массовом масштабе — и что программная инженерия составляет почти половину всей активности, наблюдаемой через их API.


Кстати, о доступе к API. Одна из неочевидных проблем экспериментов с агентными петлями — инфраструктурная: вам нужен стабильный доступ к нескольким моделям одновременно, возможность сравнивать результаты и переключаться на лету. Сервисы вроде BotHub [18] решают именно эту задачу — единый API ко всем ключевым моделям, от GPT-5.4 до Claude и Gemini. Для тех, кто строит собственные исследовательские циклы, это уже не вопрос удобства, а базовая инфраструктура.

Самосовершенствование или самозаражение? Тонкая грань, на которой стоит весь прогресс ИИ - 2

Для доступа не требуется VPN, можно использовать российскую карту.

По ссылке вы можете получить 300 000 бесплатных токенов [19]  для первых задач и приступить к работе с нейросетями прямо сейчас!


С другой стороны, PaperBench [20]от OpenAI показывает нечто столь же показательное, но в отрицательном ключе: даже лучшие протестированные агенты всё ещё далеки от воспроизведения передовых исследований на уровне экспертных докторантов — но уже способны автоматизировать нетривиальную долю процесса.

Вот именно эта комбинация — тот сигнал, к которому стоит отнестись серьёзно. Они ещё не заменяют блестящего исследователя. Но уже могут радикально сжать рутинную, разведочную, первоитерационную работу, на которой держится повседневная наука [21].


Хрупкость, о которой все забывают

Однако во всём этом разговоре упускают из виду одну вещь — хрупкость. Система самосовершенствования ровно настолько хороша, насколько хороша её функция оценки и среда, в которой она учится. Если критерии дрянные, система будет оптимизировать мусор с восхитительной эффективностью. А если модели всё чаще обучаются на данных, сгенерированных другими моделями, — мы рискуем деградировать именно тот исходный материал, который питает эти циклы.

Работа, опубликованная в Nature, о коллапсе моделей [22] — серьёзное предупреждение: неразборчивое обучение на контенте, сгенерированном моделями, может привести к необратимым дефектам и размыть хвосты исходного распределения [23]. Говоря проще: самосовершенствование не происходит в вакууме. Оно может точно так же превратиться в самозаражение.


Настоящий переломный момент

Реальная важность RSI — не в старой фантазии об ИИ, который однажды просыпается и вырывается из-под контроля. Она — в чём-то куда более прозаическом и потому куда более правдоподобном: в системах, которые автоматизируют всё возрастающую долю процесса изобретения, тестирования и оптимизации. Для трансформации экономики знаний не нужен голливудский сценарий. Достаточно, чтобы достаточная часть итеративной, скучной, экспериментальной и верифицируемой работы перестала нуждаться в людях. И именно это мы уже начинаем наблюдать.

Вопрос не в том, реальны эти подходы или это хайп — если воспользоваться дилеммой из интересной статьи Игнасио. Вопрос куда неудобнее: что произойдёт, когда улучшение систем перестанет быть спорадическим, дорогим и человеческим актом — и станет непрерывным, автоматизированным и масштабируемым процессом?

Моё ощущение — именно это и станет настоящим переломным моментом. Не потому, что машина вдруг обрела сознание. А потому, что она начала делать то, что мы всегда оставляли за нашими R&D-отделами: выдвигать гипотезы, проверять их, измерять результаты и учиться на них — не дожидаясь утра понедельника.


Автор: cognitronn

Источник [24]


Сайт-источник BrainTools: https://www.braintools.ru

Путь до страницы источника: https://www.braintools.ru/article/27905

URLs in this post:

[1] Рекурсивное самосовершенствование: https://en.wikipedia.org/wiki/Recursive_self-improvement

[2] обучения: http://www.braintools.ru/article/5125

[3] Игнасио де Грегорио задаётся вопросом: https://medium.com/@ignacio.de.gregorio.noblejas/rsi-is-the-hottest-thing-in-ai-real-or-ruse-359384d189b6

[4] повторять: http://www.braintools.ru/article/4012

[5] Важность autoresearch: https://github.com/karpathy/autoresearch/tree/master

[6] Интервью с Карпатым — «Конец программирования: Андрей Карпатый об агентах, autoresearch и петлевой эре ИИ»: https://youtu.be/kwSVtQ7dziU?si=jSl_rnmAiHnvWawt

[7] Мы входим в эру петель, где ценность определяется не статичной моделью, а системами, которые наблюдают за результатами, совершают действия, корректируют траекторию и пробуют снова: https://the-decoder.com/andrej-karpathy-says-programming-is-unrecognizable-now-that-ai-agents-actually-work/

[8] вычислительное терпение: https://thenewstack.io/karpathy-autonomous-experiment-loop/

[9] Self-Taught Optimizer (STOP) : https://arxiv.org/pdf/2310.02304

[10] поведение: http://www.braintools.ru/article/9372

[11] интеллектуальным взрывом: https://en.wikipedia.org/wiki/Technological_singularity#Intelligence_explosion

[12] И. Дж. Гуд: https://es.wikipedia.org/wiki/I._J._Good

[13] гипотезу Терминатора: https://en.wikipedia.org/wiki/Terminator_(franchise)

[14] ошибка: http://www.braintools.ru/article/4192

[15] METR : https://metr.org/blog/2025-03-19-measuring-ai-ability-to-complete-long-tasks/

[16] способны выполнять автономно с 50%-ной надёжностью: https://arxiv.org/pdf/2503.14499

[17] Anthropic отмечает: https://www.anthropic.com/research/measuring-agent-autonomy

[18] BotHub: https://arena.ai/c/%D1%81%D1%81%D1%8B%D0%BB%D0%BA%D0%B0

[19] По ссылке вы можете получить 300 000 бесплатных токенов: https://bothub.chat/?invitedBy=iTNi-351UcHgc1BxGFWim

[20] PaperBench : https://openai.com/index/paperbench/

[21] наука: http://www.braintools.ru/article/7634

[22] о коллапсе моделей: https://en.wikipedia.org/wiki/Model_collapse

[23] неразборчивое обучение на контенте, сгенерированном моделями, может привести к необратимым дефектам и размыть хвосты исходного распределения: https://www.nature.com/articles/s41586-024-07566-y.pdf

[24] Источник: https://habr.com/ru/companies/bothub/articles/1016338/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1016338

www.BrainTools.ru

Rambler's Top100