Империя терминаторов: как двести агентов построили цивилизацию

В 1959 году энтомолог Пьер-Поль Грассе проводил небольшое исследование того, как термиты строят себе жилища — термитники, которые достигают высоты в несколько метров. Каждое из насекомых таскало глину и клало ее в определенное место, которое изначально выбрал предводитель роя. Благодаря общему делу термитники были детально проработаны, там были даже вентиляционные каналы и подвалы. 

Это явление было названо стигмергией — координацией существ через изменение среды. Десятки лет спустя несколько исследователей из MIT воссоздали тот же механизм в цифровом мире. Однако вместо термитов у них были ИИ-агенты, и построили они не гигантский термитник, а технологическую цивилизацию. О результатах эксперимента мини-терминаторов и о том, чему нам, людям, нужно научиться у LLM, рассказываю в статье.

Симуляция, в которой мир решает сам

Эксперимент, описанный в лиде, называется SwarmWorld ^[1]. Это виртуальные миры, где одинаковые агенты самостоятельно искали ресурсы, испытывали различные материалы, строили объекты и писали для них программы-контроллеры. Для каждого мира, про которые я расскажу позже, было создано от 50 до 200 одинаковых агентов. 

Каждый агент там видел только ближайшее окружение, обладал ограниченной памятью ^[2] и за один ход мог выполнить максимум 12 действий. Например, двигаться, осматриваться, добывать ресурсы, тестировать материалы, строить объекты или писать для них программы-контроллеры.

Самое интересное, что им не назначали роли и не выдавали рецепты, но со временем среди AI-агентов появились исследователи, строители, смотрители и координаторы. Все агенты стартовали с одинаковым промптом, одинаковыми возможностями и одинаковым незнанием мира.

Эксперимент строился на принципе, что последнее слово оставалось не за самой языковой моделью, а за детерминированным симулятором. Например, сначала какой-либо агент из группы предлагал свой план — построить хитиновую сеть, запрограммировать датчик влажности или собрать грибной композит. После этого симулятор проверял, хватает ли ресурсов, правильна ли геометрия и работает ли предложенный контроллер. Проще говоря, нереалистичные физически идеи автоматически летели в мусорку. 

После удаления ботов из мира их артефакты тестировались под восемью стихийными бедствиями, которые те никогда не видели. Кроме того, эти разработки дорабатывались другими агентами, если, по их мнению, они заслуживали внимания ^[3]. Однако мир был не один, для разных групп были разные условия существования. 

Четыре мира, одна гипотеза

Исследователи запустили четыре версии эксперимента. В первом мире агенты жили как люди — болтали напрямую, публиковали отчеты, учили друг друга, торговали ресурсами и форкали чужие программы. Полная культура, все как у нас. Во второй симуляции коммуникацию отключили полностью, но оставили возможность копировать код и подглядывать за чужими разработками. В третьем вычистили вообще все культурное наследие, осталась только физическая стигмергия — та самая координация через объекты в мире, которую термиты оттачивали миллионы лет. В четвертом каждый агент вовсе существовал в своем личном мини-мире, без доступа к чужим открытиям. 

Результаты оказались неоднозначными и, наверное, поэтому такими интересными, что историю опубликовали почти все ТГ-каналы про науку:

• Изолированные агенты построили лучший одиночный артефакт — 0,3488 против 0,2380 у коллектива.

• Общества создали в среднем 5,75 технологии, агенты без явной культуры — 7,0, изолированные — жалкие 2,75.

Коллектив выиграл в портфолио устойчивости, количестве валидированных изобретений и способности выдерживать незнакомые катаклизмы. 

Как муравьи и термиты, только с кодом

Концепция стигмергии, которую описал Грассе, работает в SwarmWorld точно так же, как в обычной природе. Каждый муравей, который тащит кусок еды в гнездо, незаметно для себя оставляет феромонный след. Следующий наталкивается на запах ^[4], идет по нему, находит еду — след становится сильнее, а если не находит — запах выветривается. Из миллионов таких микрорешений вырастает карта путей к лучшим источникам пищи, хотя ни один муравей не знает, где они лежат. 

В SwarmWorld роль феромонов играют артефакты. Например, один агент строил хитиновую решетку, которая собирает влагу и фильтрует загрязнения. Следующий бот проходил мимо, видел работающий объект, изучал его программу-контроллер и форкал ее под свои нужды, улучшая или перерабатывая мелочи. Постепенно вокруг успешной технологии формировался кластер, как вокруг сахарного кубика формируется куча муравьев.

Поразительно, что прямые разговоры агентам оказались почти не нужны. 95% повторных использований начинались не с сообщения «чуваки, смотрите, что я сделал», а с насмотренности — бот увидел объект, разобрался и скопировал его. Ситуация похожа на ту, когда мы находим классный репозиторий на GitHub и форкаем его, а потом что-то дорабатываем под себя. Главное в этом случае — ссылаться на автора. 

Это парадокс ^[5], ведь мы привыкли думать, что чем больше общения, тем лучше координация. Но в природе муравьи почти не разговаривают друг с другом. Они оставляют следы, и этот механизм, эволюционно отточенный за миллионы лет, оказался более масштабируемым, чем прямые диалоги.

Две профессии и двенадцать поколений кода

Больше всего поражает самоорганизация агентов и то, что они разделились на два фенотипа: 

• Первый — центрированный на артефактах. Эти агенты оставались возле построек, занимались конструкцией, программированием контроллеров, ремонтом и поддержкой. Они реже путешествовали, зато чаще взаимодействовали с технологиями. В условиях полной культуры таких было около 27%, без явной культуры — 20%, а без общения — всего 17%.

• Второй фенотип — мобильные исследователи. Они перемещались по миру, осматривали территорию, тестировали материалы и открывали новые ресурсы. Их траектории были длиннее, чем у «артефактных», они посещали больше мест и приносили всей группе информацию, на основе которой строители и создавали технологии. К слову, их было намного больше (73, 80 и 83% в разных мирах). 

Это разделение труда возникло спонтанно. Исследователи просто наблюдали, как боты форкают чужой код, допиливают его, вставляют в новые артефакты, а следующие поколения снова берут уже переделанный код и переделывают еще раз. 

В одном из обществ с полной культурой самая глубокая цепочка наследования достигла 12 поколений. Программа, которая управляла хитиновой системой обмена, прошла через шесть разных авторов, каждый из которых вносил изменения. Начальный код написал один агент, второй форкнул его и добавил адаптивное поддержание, третий внедрил буфер влажности, четвертый связал с минеральным композитом, и так 12 раз.

Кстати, как часто вы слышали, что если пользуетесь ИИ-агентами, то каждому из них нужно сразу раздавать роли? Эта стратегия оказалась ошибочна. Авторы исследования отметили, что роли с ИИ не работают, и можно заранее назвать агента исследователем, разработчиком и координатором, но системно работать от этого они не станут. Эффективнее выбрать одного ведущего агента и дать ему возможность самому разделять цель на независимые задачи, передавать их субагентам и собирать результаты.

Шестнадцать технологий, которые никто не заказывал

За весь эксперимент исследователи отобрали 16 уникальных артефактов из всех четырех условий. Каждый агент придумывал название своей разработки, описывал функцию, выбирал материалы и последовательность ее создания. Симулятор оценивал, насколько хорошо артефакт справляется со своей задачей в реальном времени. 

Лучшим открытием стала хитиновая решетка из трех слоев, которая собирает влагу, фильтрует загрязнения и поддерживает структурную целостность. На второе место симулятор поставил минеральную вуаль на основе грибного мицелия, которая создает защитный барьер для влаги и минералов. Третье место заняла хитиновая панель с ферментацией, адаптированная к приливным условиям. На четвертое место встала дышащая кутикулярная вуаль, а на пятое — пористый буфер, предназначенный для снижения загрязнения и содействия локальному заживлению среды.

Материалы, которые агенты использовали, разнообразны. Например, исследователи обнаружили в изобретениях хитин, грибной мицелий, минералы, катализаторы, водоросли, ракушки, целлюлозу и связующее вещество под названием «лигнин». К слову, каждый артефакт проходил через определенную последовательность обработки — промывка, измельчение, ферментация, минерализация, выравнивание, прессование и сушка.

Контроллеры, которые агенты писали для артефактов, считывали локальные показатели (влажность, загрязнение, здоровье среды, наличие питательных веществ) и реагировали на них. Они регулировали поры, собирали воду, очищали загрязнения, запускали ремонт или отправляли сигналы другим артефактам. Все это были работающие системы управления, написанные обычными LLM и проверенные симулятором.

Соревнование цивилизаций

За SwarmWorld стоит целая родословная исследований, которая начиналась с виртуальных персонажей и методично шла к искусственным цивилизациям. В 2023 году команда из Стэнфорда выпустила Generative Agents ^[6] — 25 виртуальных жителей городка с памятью, которые ходили на работу, в бар и организовывали вечеринки. В процессе эксперимента они начали обмениваться информацией — кто-то из персонажей даже решил устроить вечеринку ко Дню святого Валентина, пригласил других, и в назначенное время они собрались вместе. 

В том же 2023 году команда NVIDIA под руководством Джима Фана создала Voyager ^[7]— одного агента в Minecraft, который непрерывно исследовал мир, накапливал навыки в виде исполняемого кода и сохранял их в библиотеке. Агент нашел в три с лишним раза больше уникальных предметов, чем предыдущие системы, и достигал ключевых этапов технологического дерева в 15 раз быстрее. Тогда было доказано, что навыки, написанные в виде кода, можно переиспользовать в новых мирах. 

В 2024 году стартап Altera.AL ^[8] запустил Project Sid ^[9] — проект, в котором тысяча AI-агентов в Minecraft сформировала собственное общество. Они выбрали правительство, написали конституцию в Google Docs, проголосовали за нее и распространили религию пастафарианства через подкуп. Этот эксперимент показал, что агенты способны к политическим и культурным практикам, которые никто не предписывал.

SwarmWorld объединяет эти подходы. Схожесть с Generative Agents заметна в социальном поведении ^[10] и памяти AI-агентов, с Project Sid — в масштабе и самоорганизации, а с Voyager — в технологическом наследии в виде исполняемого кода. Однако открытая физическая стигмергия в цифровом мире остается новинкой. 

Чему мы можем научиться у ИИ-терминаторов 

У этих двухсот ботов нам есть чему поучиться. Я собрала несколько уроков, которые точно стоит реализовать в нашей человеческой цивилизации: 

1. Пусть решает реальный мир, а не чужое мнение. В SwarmWorld симулятор был единственным судьей, и неважно было, сколько агентов аплодировали технологии или сколько лайков собрало ее описание. 

2. Меньше говорим и больше наблюдаем (насмотренность как-никак) — 95% переиспользования технологий в SwarmWorld началось с наблюдения за результатом. Если бы агенты проводили ежедневные созвоны, они бы не построили семь технологий за 800 тиков, но они бы точно обсудили, как их строить.

3. Форкайте без спроса, но не забывайте про автора. Когда агент видел работающую технологию, он не писал автору, он брал и копировал, ведь лучший код в мире — тот, который свободно форкается.

4. Лидерство ^[11] возникает из действий, а не из назначения. Статусы AI-агентов в симуляции вытекали из действий, а не из должностных инструкций. Эксперимент показал, что для лидерства достаточно среды, которая вознаграждает полезные действия.

5. И последний урок — создавайте вещи, которые переживут вас. Агенты уходили из мира, а их технологии продолжали работать, их форкали, и они тестировались под новыми стихийными бедствиями. Это идеальный критерий качества, ведь множество технологий вокруг нас стали известными уже после смерти их создателей. 

Пора вернуться в реальность…

SwarmWorld — это всего лишь симуляция с упрощениями. Мир двумерный, ресурсы абстрактные, и материалы описаны правилами от исследователей, а не реальной физикой. В основе всех агентов лежала одна языковая модель, а изначальных наборов условий было всего четыре. Но даже с оговорками эксперимент впечатляет, ведь принцип стигмергии работает даже в цифровой среде.

Двести одинаковых агентов без руководства человека создали технологическую цивилизацию с разделением труда, культурным наследием и устойчивостью к катаклизмам. Они не знали, что делают, но их локальные действия, усиленные средой, привели к глобальному порядку.

Делитесь в комментариях, вы предпочитаете единичных агентов или рой и задаете ли вы им роли или просите обучиться в процессе. А также делитесь своими пет-проектами на GitHub, чтобы другие их форкали и тем самым улучшали наш прекрасный мир.