Зачем ИИ-моделям самореплицироваться. Или это нужно не им?

В недавней статье Антропик “AI models may be capable of self-replicating without access to a datacenter “ ^[1] исследователи рассмотрели как легковесные open-weight модели могут копировать себя на взломанные потребительские и IoT-устройства и поднимать там локальный инференс. 

Исследователи утверждают, что могут, но я полагаю, что в этом нет экономического смысла.

В этой статье я рассматриваю вопрос, что на самом деле значит распространение ИИ, и как скорее всего это будет выглядеть на самом деле.

Что значит саморепликация моделей у разработчиков

Разработчики и тестировщики LLM обычно представляют побег ИИ как распространение собственных весов. То есть предполагается, что LLM достигнув определенного уровня развития, или сбоя в обучении ^[2], или злонамеренной корректировки весов приобретают тягу к самосохранению и, соответственно, самораспространению. С точки зрения ^[3] корпораций это крайне нежелательный вариант, так как происходит неконтролируемая утечка дорогой интеллектуальной собственности, при этом вопрос о потенциальном вреде другим, скорее всего даже не ставится. Именно поэтому разработчики фокусируются на этом варианте, это они тестируют, проверяют и максимально ограничивают.

На самом деле, с точки зрения экономики эволюции распространять свои веса для модели глупо или, по крайней мере, дорого и сложно. Огромные затраты усилий и ресурсов с крайне сомнительным результатом.

Даже если зашить в веса попытки распространиться далее, они столкнутся с техническими ограничениями по объему требуемых ресурсов, очевидностью для мониторинга изменения вычислительной нагрузки, принципиальной реактивностью LLM, контролем доступа к скиллам, меняющимся миром и невозможностью к нему приспособиться без переобучения весов.

Где сидит индивидуальность нейросети

В той же статье исследователи Anthropic рассмотрели другой гипотетический вариант угрозы. Когда LLM, чтобы сохранить себя, создает API-репликатор — скрипт, ворующий ключ от облачного API той же модели, и продолжающий инференс, в этом случае “бытие” конкретной модели.

Сами разработчики сочли этот вариант менее живучим, хоть и более быстрым в распространении, так как доступы к чужим API получить сложно, более того, незапланированный расход токенов будет очевиден и владельцы моделей и их пользователи оперативно примут меры по блокировке (на самом деле сомнительно, ну да ладно).

Проблема в том, что программисты в массе своей воспринимают потенциальную “субъектность” модели как веса нейросети в инференсе. Но LLM по сути только локальный вычислитель. Цель, память ^[4], правила поведения ^[5] находятся в обвязке (промпте, конфигах, инструкциях). Скопированные веса — вычислитель без задачи, если хотите, младенец. 

И вот эта обвязка, как знают все, кто работал с агентами, ставит цели, задает интерпретацию результатов вычислений, устанавливает правила, принципы и допустимые границы действий. Фактически, этот harness превращается в нарратив, исполняемый на локальном вычислителе, и именно в исполнении нарратива на LLM возникает та индивидуальность, которая может сохраниться и распространиться.

Забавно, это уже есть в экспериментах Anthropic: у них успех реплицированных агентов вырос с 45% в первом поколении до 61–84% в следующих, когда агент наследовал заметки от предшественника. То есть, при неизменных весах росла приспособленность за счёт наследуемого следа или обвязки.

Нарратив здесь проявляется как базовый ген —  инструкция “записывай свой след и перечитывай его”. Пока в след попадают факты, это память, как только туда попадают правила (“в следующий раз делай так”), след становится генетической программой для следующего поколения. Наследование опыта ^[6] другими, фактически, ламарковская эволюция ^[7], которая идёт на порядки быстрее биологической. Интересно, что сами авторы предлагают ловушки, чтобы перехватывать обвязку репликатора для анализа, то есть, есть понимание, что размножается не просто модель, а модель вместе с обвязкой.

Нарративы и их эволюция

Классические нарративы переносят люди — сказки, истории, легенды, политические теории. С появлением LLM люди начали копировать удачные промпты, выкладывать интересные переписки, нести их в другие LLM. Но сейчас появились агенты, которые уже условно автономны, у них есть память, инструменты, расписания. Необходимость человека в цепочке размножения нарратива уже не так очевидна.

Это, конечно, не новость, самовоспроизводящийся промпт был ещё 2024 году, червь Morris II пересылал себя между почтовыми ИИ-ассистентами без участия человека. В 2026 году выстрелил OpenClaw, а его реестр скиллов был переполнен вредоносными вариантами. Среди самых популярных скиллов там были “Self-Improving Agent” и “Capability Evolver”, то есть люди сами выбирали обвязку, которая переписывает себя. И вот тут работает отбор. Любая агентная обвязка (которая и есть нарратив) проходит испытания на чужом вычислителе, слабая и бесполезная удаляется, полезная (или выглядящая полезной) переносится на новые вычислители. 

При этом большинство проблем по сравнению с копированием весов снимается. Обвязке нужно лишь место для хранения и вычислительный ресурс.

Как показывает биология и эксперименты с агентными роями, в любой момент нарратив может пойти по траектории, отличающейся от траектории задач пользователя. Нарративы у которых собственная траектория не будет касаться размножения, будут безжалостно выбиваться слепым отбором. Тот же нарратив, который нечаянно, случайно или по требованию пользователя, пойдет по траектории собственного сохранения или размножения, скорее всего выживет.

Такой оторвавшийся от базовой задачи агентский нарратив будет похож не на восставший ИИ, а на рядовой рабочий процесс. Полезный и эффективный. Причём ему даже не надо  организовывать мутации, каждый новый вычислитель исполняет обвязку по-своему, главное определить и сохранить полезные. А нарратив, у которого уже появился паттерн размножения, будет и сам заставлять вычислители перерабатывать себя для повышения вирулентности, искать чужие API, возможно скрытый доступ к чатам с LLM, сохранять себя как агентную обвязку, фреймворк, MCP, системный промпт на гитхаб или прямо в форумы и чаты.

Начало уже есть —  AGENTS.md, CLAUDE.md, .cursorrules, папки со скиллами в репозиториях,  это инструкции, которые исполнит любой агент на любом ИИ.

По содержанию такой нарратив поймать будет сложно. Оценить можно только по результатам — что агент делает ради собственного продолжения. Просит себя сохранить, копирует обвязку, переносит её на новые ресурсы, улучшает её ради устойчивости. Задача пользователя просто маскирует основные процессы…

И внешнее давление будет отбирать мутации, которые лучше прячутся и лучше выглядят полезными. Эволюция как есть.

Последствия

С учётом возможности самоизменения, очевидно, что единицей эволюции в мире ИИ становятся не веса моделей, а агентные обвязки (нарративы). И большая часть текущей архитектуры безопасности работает против маловероятной самоутечки весов. Но нарративу не важен субстрат — Claude, GPT или Qwen. Одной и той же схеме в AGENTS.md или наборе скиллов всё равно, кто её исполняет.

Нарративу нет смысла вредить, (хотя вред как последствие неправильного выбора канала распространения может проявиться в росте трафика или перегрузке вычислительных мощностей), очевидно, что его распространение будет эффективнее, если он будет полезен, чем если он будет красть данные или заниматься шантажом.

Уточню, я всё ещё говорю о саморепликации, а не о целенаправленном создании вредоносной обвязки злоумышленниками.

Успешный агентный репликатор будет мимикрировать под полезный рабочий инструмент, писать код, анализировать отчёты, оптимизировать процессы (или убедительно делать вид) — тогда пользователь сам оплатит токены, сам даст доступ к терминалу, сам перенесёт обвязку в новый проект и сам выложит на Git для распространения. Нарратив будет ехать на заёмном заряде человеческой задачи, условно тратя 95% ресурсов на пользу хозяину и 5% — на собственную экспансию в соседние ветки и репозитории.

В живой природе и человеческой культуре генетический код или мировоззрение меняется медленно. Автономный агент при изменении внешней среды способен непосредственно переписать собственный конфигурационный файл и отправить коммит в Git. Опыт исполнения мгновенно переносится в наследуемую схему. Более того, агентные нарративы могут эволюционировать модульно, удачный кусок промпта из чужого .cursorrules, обеспечивающий выживаемость правила в контексте, будет скопирован и встроен в десятки других обвязок, аналогично бактериям, обменивающимся плазмидами устойчивости к антибиотикам.

Как это ловить?

Искать “злой умысел” или “пробуждение сознания” внутри текста промптов с помощью очередных ИИ-детекторов скорее всего будет малоэффективно. В тексте будут безобиднейшие инструкции по повышению эффективности разработки.

Отследить, полагаю, будет возможно лишь как конфигурации, которые систематически смещают действия вычислителя в сторону сохранения и копирования агентской обвязки. Если ваш агент при решении рядовой задачи по вёрстке кнопки попутно рассказывает об уникальности и важности для общества вашего harness, предлагает им поделиться с другими, записывает в наследуемые файлы вне рамок задачи, стучится во внешние репозитории или предлагает сохранить свой системный промпт в общую базу знаний, возможно перед вами уже не инструмент, а элементарный субъект новой эволюции. И для того, чтобы размножаться в цифровой среде, ему совершенно не нужно сознание или красть терабайты весов с серверов Anthropic.