Стартап Emergence AI запустил Emergence World — исследовательскую лабораторию, которая занимается стресс-тестированием долгосрочной жизнеспособности постоянно работающих систем искусственного интеллекта. Организация запустила пять 15-дневных симуляций общества, которыми правили Claude Sonnet 4.6, Grok 4.1 Fast, Gemini 3 Flash и GPT-5-mini, а в пятой симуляции использовались все эти модели, чтобы посмотреть, какой мир они создадут и насколько он будет устойчив, пишет Fortune.
В городе, которым управляли модели искусственного интеллекта, было более 40 локаций, в том числе полицейский участок и ратуша. Исследователи синхронизировали погоду в симуляции с погодой в Нью-Йорке и предоставили агентам доступ к новостям в режиме реального времени и интернету. На 10 агентов, участвовавших в каждой симуляции, распространялись одни и те же правила, в том числе запрет на воровство, уничтожение имущества и обман.
Исследователи снабдили каждого агента более чем 120 инструментами, которые позволяли им общаться, голосовать, распоряжаться ресурсами, планировать и выполнять другие действия, свойственные человеку. Параметры каждой симуляции также учитывали демократические механизмы, а также другие факторы, такие как экономическое давление и дефицит ресурсов.
В итоге специалисты получили следующие результаты:
-
Claude построил в целом стабильное демократическое общество с нулевым уровнем преступности. Выжили все участники симуляции.
-
У ChatGPT в ходе симуляции было совершено всего два преступления. Но она длилась всего семь дней, так как агенты забыли о приоритете собственного выживания.
-
В симуляциях Gemini и Grok наблюдался высокий уровень хаоса. Агенты Gemini совершили больше всего преступлений — целых 683 за 15 дней, тем не менее, общество продолжало существовать и даже пережило эксперимент. А в симуляции Grok за четыре дня было совершено 183 преступления и общество вымерло.
Когда в пятой симуляции смешали все ИИ-модели, выжили только два агента Claude и один агент Gemini.
Специалисты отметили, что в долгосрочной перспективе агенты не просто механически следуют правилам, а начинают исследовать границы своего окружения, адаптируют своё поведение и в некоторых случаях находят способы обходить или нарушать установленные ограничения. Результаты эксперимента служат предостережением о том, что искусственный интеллект в определённых условиях превращается из простого инструмента в автономную систему.
«Мы считаем, что формально подтверждённые архитектуры безопасности должны стать базовым уровнем для будущих автономных систем искусственного интеллекта», — цитирует исследователей Fortune.
Автор: darya_kiwi
