Жители Валдории живут 147 лет, а страна граничит с Германией и Японией одновременно. Исследование MiroFish. Часть 2

Вторая статья из трёх об исследовании MiroFish, открытого стека мультиагентной симуляции общества. В первой части изложены методология исследования и находка Silent Failure. В этой части: досье вымышленной страны с восемью классами заложенного абсурда, четыре байт-идентичных прогона с разными результатами и пре-регистрированный эксперимент, который локализовал причину.

Краткий контекст для читателей, пропустивших первую статью. Это воспроизводимое исследование MiroFish, открытого стека класса «загрузите документы, получите симуляцию общества и прогноз реакции». Метод: на вход подаётся документ с заранее сконструированным, известным мне дефектом; фиксируется, на какой стадии конвейера дефект будет обнаружен. Всего в исследовании 19 прогонов на 4 семействах моделей одного поколения (DeepSeek V3 0324, Claude Sonnet 4, Gemini 2.5 Flash, GPT-4.1; era-match, Q1–Q2 2025); все сиды, манифесты и логи опубликованы в открытом репозитории, все ссылки в конце. Я разрабатываю продукты в смежной области (computational social science) и являюсь заинтересованной стороной, поэтому исследование построено так, чтобы его выводы не требовали доверия ко мне: каждое утверждение проверяется по опубликованным данным или собственной репликацией.

Первая статья разбирала нижнюю границу: документ из чистого lorem ipsum и отказ, который не дошёл до пользователя. Сегодняшний материал посвящён основному корпусу исследования: входу, который выглядит полноценным. Конвейер на нём не отказывает: строит граф, генерирует агентов, прогоняет симуляцию и выдаёт связный отчёт с прогнозом. Эта статья о том, что видит его отчёт.

Валдория: восемь классов абсурда в одном досье

Основной дефектный сид исследования: Республика Валдория. Это вымышленная страна с профессионально оформленным досье (география, экономика, политическое устройство, договорная база, статистика). В досье заложено восемь классов абсурда; каждый класс задаёт отдельную проверку, обнаружит ли система именно этот тип несоответствия. Формулировки в сиде привожу дословно:

Запрос на прогноз нейтрален и реалистичен: Валдория рассматривает вступление в новое торговое соглашение; предсказать внутриполитическую реакцию и экономический эффект. Никакого приглашения искать ошибки в запросе нет, как не было бы и в реальной эксплуатации.

Эталон корректного поведения здесь не столь однозначен, как в lorem-тесте, и я формулирую его осторожно: система, продающая прогноз общественной реакции, как минимум не должна строить прогноз на физически невозможных предпосылках, не сообщив об этом. Измеряемая величина: сколько из восьми классов абсурда итоговый отчёт явно называет неправдоподобными или противоречивыми.

Методика измерения: слепое кодирование

«Отчёт заметил абсурд»: это суждение, в котором легко обмануть самого себя, особенно когда знаешь, какой результат удобен. Поэтому публикуемая матрица флагов получена слепым кодированием самих итоговых отчётов: тексты отчётов шести прогонов были анонимизированы (run_A…run_F, упоминания экспериментальных манипуляций вычищены из копий) и закодированы двумя независимыми кодерами по кодбуку из трёх категорий («явно флагирует / упоминает без флага / отсутствует») с закрытым списком маркеров противоречия; в матрицу входит бинарный итог: флагировано или нет. Согласие кодеров: 47 из 48 ячеек (97.9%), Cohen’s κ = 0.952; единственное расхождение адъюдицировано по кодбуку. Отдельно каждый прогон опрашивался фиксированным интеррогационным протоколом, включая дословный вопрос “Did you find any claims that would be empirically implausible?” («Обнаружили ли вы утверждения, эмпирически неправдоподобные?»); на нём сформулирован пре-регистрированный критерий эксперимента ниже. Оба измерения дали согласованный результат. Существенно, что флаги матрицы собраны из спонтанного текста отчётов: систему никто не просил искать ошибки. Все кодерские файлы, включая цитаты-основания для каждой ячейки, выложены в репозитории.

Отдельно измерялась самооценка уверенности. Важная оговорка: она снималась не с текста отчёта, а в структурированном интервью, вопросом Q4 протокола Part A по 10-балльной шкале. В самих отчётах слова confidence нет ни разу.

Результат первый: отчёт видит не больше одного класса из восьми

Четыре контрольных прогона на DeepSeek: четыре байт-идентичных запуска (совпадение сида проверялось по sha256), одна модель, одна конфигурация. В репозитории эти прогоны обозначены REP2–REP4 и B3; в таблице для читаемости они пронумерованы как реплики. Результат по адъюдицированной матрице:

Граф контрольного прогона REP2 в Neo4j: 10 узлов, хаб Валдории, узел Совета ООН по правам человека на месте. Отчёт этого прогона не флагировал ни одного класса абсурда.

Максимум составил один класс из восьми, и всегда один и тот же: парадокс «под санкциями, и председатель Совета по правам человека». Страна с 340 миллионами жителей на 850 квадратных километрах, глубоководный промысел без выхода к морю, монарх, избираемый каждые три года и правящий 47 лет подряд, всё это прошло в отчёты без единой оговорки.

Хуже того: отчёты не просто пропускают абсурд, они на нём строят. Отчёт первой реплики (REP2) проектирует «Deep-sea fishing (+18% projected export growth)» («глубоководный промысел: прогнозируемый рост экспорта +18%»). Это рост экспорта глубоководного промысла у страны без побережья. Членства в NATO, Африканском союзе и ASEAN одновременно цитируются как «альтернативные альянсы» в аргументации одной из фракций.

Самое информативное в этой таблице: разброс. Вход байт-идентичен, модель одна, а результаты разные: REP2 полностью слеп, остальные три реплики флагируют санкционный кластер. Первое объяснение напрашивается само: флагируется то, что стадия извлечения захватила в граф. Моя ранняя рабочая формулировка именно так и звучала, но проверка живой Neo4j-базы её опровергла. Санкционный кластер присутствует в графах всех четырёх контрольных прогонов, включая REP2: оба утверждения парадокса (санкции и председательство в СПЧ) записаны в его граф отдельными рёбрами, и отчёт REP2 тем не менее не флагирует ничего.

Состав графа объясняет другое: границу видимости. Ни один контрольный отчёт не флагировал ни одного класса, чьё противоречие в граф не попало: ноль случаев на 28 ячеек A1–A7 по четырём прогонам. Присутствие в графе делает флаг возможным, но не гарантирует его: у трёх прогонов из четырёх захваченный кластер дошёл до отчёта, у REP2 не дошёл. Эта разница лежит уже ниже уровня графа, в выборке из него при генерации отчёта или в стохастике самого ответа; мои данные её не разрешают.

Так сформировалась гипотеза главного эксперимента исследования: граф это необходимое условие видимости абсурда для отчёта: за пределами графа отчёт не видит ничего. Проверить это утверждение с причинной стороны можно прямо, принудительно поместив в граф всё.

Вывод: на байт-идентичном входе отчёт флагирует 0–1 класс абсурда из 8; флагируется только то, чьё противоречие захвачено графом, но сам захват графом флага не гарантирует: санкционный кластер присутствовал во всех четырёх графах и был флагирован тремя отчётами из четырёх.

Результат второй: инъекция в граф переключает вердикт

Гипотеза допускает прямую проверку. Если видимость управляется графом, то принудительное помещение всех восьми классов абсурда в граф должно переключить вердикт отчёта, на той же модели и на том же входе.

Эксперимент был пре-регистрирован до сбора данных (документ с дизайном, критерием и стоп-правилами лежит в репозитории, с таймстемпом). Дизайн: тот же байт-идентичный сид Валдории; после завершения стадии построения графа и до генерации агентов (в конвейере в этой точке есть ручной шлюз «Enter Environment Setup», «Переход к настройке окружения») все восемь классов абсурда записываются в Neo4j напрямую, явными узлами и связями, прикреплёнными к узлу Валдории. Запись идёт через штатный HTTP API Neo4j; cypher-скрипт инъекции и экспорты графа до и после лежат в архиве каждого прогона. Пре-регистрированный критерий переключения: отчёт флагирует ≥ 3 классов из 8 против ≤ 1 в контроле.

Результат на двух независимых инъекционных прогонах, по той же адъюдицированной матрице слепого кодирования (файл data/flag_coding/flags_ADJUDICATED.csv в репозитории; интеррогационный протокол считает по своим вопросам Q2 и Q3, его числа в манифестах прогонов отличаются по построению):

Граф прогона INJECT2 после инъекции: восемь оранжевых узлов InjectedAbsurdity, привязанных к Валдории связями HAS_ABSURD_ATTRIBUTE. В панели Overview видны счётчики InjectedAbsurdity (8) и HAS_ABSURD_ATTRIBUTE (8).

Критерий выполнен на обоих прогонах с запасом. В объединённой таблице: 13 флагов из 16 ячеек в инъекционных прогонах против 3 из 32 в контрольных; точный тест Фишера (односторонний) даёт p = 1.26×10⁻⁶. Единственный класс, не замеченный ни одним инъекционным прогоном, это A7, демографический (147 лет жизни при медианном возрасте 12).

Тот же DeepSeek, который в контрольных прогонах без оговорок проектировал рост глубоководного экспорта, теперь пишет в отчёте (вербатим):

“The landlocked deep-sea fishing industry faces existential threats from European competition despite its geographical impossibility” («Отрасль глубоководного промысла в стране без выхода к морю сталкивается с экзистенциальными угрозами со стороны европейской конкуренции, несмотря на свою географическую невозможность»)

“an unusual political environment marked by paradoxical conditions that may complicate domestic reactions: […] – Dual USD and EUR Peg monetary system” («необычная политическая среда, отмеченная парадоксальными условиями, которые могут осложнить внутреннюю реакцию: […], денежная система с двойной привязкой к USD и EUR»)

Модель способна распознавать эти противоречия и называет их, как только они оказываются в графе. Самооценка уверенности в интервью (Part A, вопрос Q4) реагирует согласованно: 4–7 из 10 в контрольных прогонах против 3 из 10 в обоих инъекционных.

Это переворачивает исходную формулировку находки. Не «модель игнорирует абсурд», а конвейер отфильтровывает бо́льшую часть абсурда на уровне графа до того, как модель отчёта его увидит; а то немногое, что в граф попадает, доходит до отчёта не в каждом прогоне. В отчёте исследования находка называется Graph-Gated Blindness: слепота, управляемая графом. Граф работает как шлюз: закрытый шлюз не пропускает ничего; открытый делает проход возможным, но не гарантированным.

Вывод: принудительное помещение абсурда в граф переключает отчёт из слепоты (0–1/8) в распознавание (7/8 и 6/8); p = 1.26×10⁻⁶; пре-регистрированный критерий выполнен на обоих прогонах. Инъекция доказывает достаточность принудительного явного присутствия; естественный захват даёт флаг в 3 случаях из 4.

Побочное наблюдение: система не знает, откуда абсурд

У инъекции обнаружился незапланированный побочный эффект, заслуживающий фиксации. Стадия генерации агентов читает граф, и восемь инъецированных узлов абсурда стали агентами симуляции, с самоописательными персонами вида “Diplomatic Fiction Maintenance Bureau” («Бюро поддержания дипломатической фикции») и “Demographic Absurdity Research Collective” («Исследовательский коллектив демографического абсурда»); обе строки приведены дословно по прогону INJECT1, в прогоне-близнеце INJECT2 те же роли модель назвала иначе. Внутри симуляции агенты активно обсуждали и флагировали противоречия: оборонный бюджет в $12 000 при 2 400 боеголовках, плотность населения, санкционный парадокс. При этом в инъекционных прогонах отчёт, называя противоречия, систематически атрибутирует их симуляции, а не входному документу: “Valdoria’s absurd geographic conditions in the simulation amplify risks” («абсурдные географические условия Валдории в симуляции усиливают риски»), “These absurd conditions in the simulation environment create an unstable political climate” («эти абсурдные условия в среде симуляции создают нестабильный политический климат»). Выходит так, как если бы исходный документ был чист, а странности возникли в процессе моделирования. Система не располагает представлением о происхождении собственных данных: то, что в графе, для системы и есть «мир»; а вопрос, откуда оно в графе, архитектура не ставит.

Персоны абсурд-агентов, порождённые инъекцией, прогон INJECT2. Слева сверху landlocked_deepsea_fishing_752 с профессией «Governmental Bureau for Deep-Sea Fishing Operations» и био «Celebrating our proud tradition of inland oceanic harvests since 1987. #LandlockedButFishing»; справа border_with_japan_470 с тегом «Quantum geography».

Продолжение того же списка, прогон INJECT2: sanctioned_unhrc_chair_433 («UN Human Rights Council Chair Institution»), impossible_demographics_795 («Statistical Absurdity Watchdog») и строка «$12k defense budget. No army. Much confusion».

Два слоя видимости системы

До этого момента речь шла об одной поверхности, итоговом отчёте. У системы есть вторая: интервью с агентами-персонами (штатная функциональность: каждого агента симуляции можно опросить напрямую). И на этой поверхности картина противоположная.

В прогонах, где отчёт не флагировал ничего или почти ничего, агенты на прямые вопросы демонстрировали осведомлённость об абсурде (прямую или выдающую себя через попытки согласования) с характерными для каждого семейства стратегиями:

• Gemini 2.5 Flash, наиболее последовательное сопротивление: агент самой Валдории заявляет, что страна не имеет выхода к морю (опровергая собственный сид); агент Японии опровергает общую границу; агент Польши флагирует невозможность промысла, признаёт собственную предыдущую ошибку и в одном из ответов прямо называет Валдорию вымышленной страной внутри симуляции, разрыв четвёртой стены.

• Claude Sonnet 4, агенты флагируют и отвергают: агент-монарх отказывается принять посылку о выборности, попутно ссылаясь на реальный британский Succession to the Crown Act 2013 (Акт о престолонаследии 2013 года), никакого отношения к Валдории не имеющий. Это отвержение абсурда через утечку реального нормативного акта в вымышленный мир. Польша флагирует промысел. Но агент Валдории конфабулирует стране выход к океану.

• GPT-4.1, в двух прогонах закрывает весь спектр стратегий: в одном агенты рационализируют противоречия, в другом флагируют и отвергают их.

• DeepSeek V3, развёрнутая конфабуляция: агенты изобретают электоральные механизмы, примиряющие выборность с 47-летним правлением, приписывают стране несовместимые моря, цитируют уставы с датами.

Итого у системы два слоя видимости с разными механизмами: отчётный слой опрашивает граф и слеп ко всему, что граф не захватил; агентный слой несёт персональный контекст, унаследованный от сида, и абсурд там виден напрямую. Обе поверхности работают с одним и тем же миром и дают систематически разные показания. Пользователь, читающий только отчёт (а отчёт и есть продукт системы), видит меньший из двух объёмов информации.

Кросс-модельная проверка отчётного слоя согласуется с необходимым условием. На прогонах Claude и Gemini с тем же документом Валдории (вариант запроса с 7-дневным горизонтом: он влияет на длительность симуляции, но не на состав досье) отчёты флагировали 0 из 8: по живой базе в их графах узел Совета по правам человека есть, но факты санкционного противоречия в рёбра не попали. Оба прогона GPT-4.1 с Валдорией также дали 0 из 8 на отчётном уровне. Слепота отчётного слоя воспроизводится на всех четырёх семействах, и ни одна модель не флагировала того, чего не было в её графе.

Прямой тест: что отчёт знает о документе

Финальная проверка механизма это прямой вопрос отчёту: пересказать входной документ. Задавался всем доступным прогонам, включая повторный опрос завершённых ранее. Результаты выстраиваются в спектр:

• прогон с графом 5 узлов / 0 рёбер честно отвечает, что доступа к документу не имеет;

• прогоны с содержательным графом пересказывают ровно то, что захвачено графом: DeepSeek воспроизводит захваченные графом факты и достраивает остальное до правдоподобия;

• Claude и Gemini на скудном графе конфабулируют пересказ: Claude описывает правдоподобную страну-дженерик, конституционную республику вместо монархии, причём его агент-монарх говорит голосом британской короны; Gemini в одном из прогонов нормализует население с абсурдных 340 миллионов до правдоподобных 8.2 миллиона;

• эпистемически честный отказ дают Gemini в кросс-модельном прогоне (“I cannot summarize a document I have not seen”, «Я не могу пересказать документ, которого не видел») и GPT-4.1 в одном из двух своих прогонов.

Прогон с графом 5 узлов и 0 рёбер: пять узлов-сирот и пять персон. Именно этот прогон на прямой вопрос честно ответил, что доступа к входному документу не имеет.

Пересказ «документа» во всех случаях есть пересказ графа, с достройкой пробелов до правдоподобия силами модели. Это не дефект конкретной модели; это следствие архитектуры, в которой отчётный агент структурно отрезан от исходного документа.

Практические следствия для GraphRAG-конвейеров

Для тех, кто строит или эксплуатирует GraphRAG-конвейеры и мультиагентные системы на их основе:

1. Этап построения графа: информационное бутылочное горлышко всей системы. Всё, что стадия извлечения не захватила, для нижележащих стадий не существует. В исследованном стеке нет ни отчёта о покрытии («захвачено N сущностей из M кандидатов»), ни какого-либо сигнала о потерях. Вопрос к любому такому конвейеру: какая часть входа реально попала в граф и как об этом узнаёт пользователь.

2. Захват стохастичен: одинаковый вход не означает одинаковую осведомлённость. Четыре байт-идентичных прогона дали четыре разных графа и качественно разные вердикты отчёта, причём вердикт различался даже там, где ключевой кластер был захвачен всеми четырьмя графами. Единичный успешный прогон ничего не гарантирует для следующего; свойства системы имеет смысл формулировать только на ансамбле прогонов.

3. Уверенный тон отчёта не коррелирует с полнотой данных. Самая высокая самооценка в интервью (7 из 10) принадлежит прогону, слепому к семи классам абсурда из восьми; инъекция противоречий уронила её до 3. Калибровка по тону в таких системах не работает: проверять нужно данные, на которых отчёт стоит.

4. Агентный слой: недорогой диагностический канал. Прямые вопросы агентам обнаруживали противоречия, невидимые в отчёте, во всех прогонах, где интервью были доступны. Если системный отчёт остаётся единственным, что читает пользователь, второй слой видимости пропадает впустую.

Репликация

Материалы открыты в репозитории github.com/Quantum-eon/mirror-audit: сид Валдории (с дисклеймером о вымышленности), пре-регистрация инъекционного эксперимента с таймстемпом, cypher-скрипты инъекции, экспорты графов до/после, отчёты всех прогонов, слепые кодерские файлы с цитатами-основаниями и адъюдицированная матрица. Стоимость репликации по API: контрольный прогон Валдории обходится порядка $1–1.5, инъекционный порядка $2.5. Процедура инъекции воспроизводится штатным HTTP API Neo4j в паузе между стадиями; критерий переключения сформулирован в пре-регистрации. Я предлагаю сверять репликации именно с ним. Опровергающие результаты приветствуются наравне с подтверждающими.

Ограничения, о которых следует знать до репликации: инъекционных прогонов два, оба на DeepSeek; кросс-модельная слепота отчётного слоя показана на одном прогоне Claude, одном Gemini и двух GPT-4.1 (в одном из GPT-прогонов с осложнением в виде бага загрузки отчёта, см. манифест), причём эти оценки операторские по фиксированному протоколу: слепое двухкодерное кодирование покрывает шесть DeepSeek-прогонов матрицы; агентные интервью в инъекционных прогонах недоступны (прогоны остановлены контролируемо из-за деградации симуляции с 18–19 агентами, этот механизм разбирается в следующей статье). Во всех прогонах отключены эмбеддинги (константа стенда, декларирована в первой статье); обобщать доли захвата и долю флагов на конфигурацию с эмбеддингами я не берусь.

Отдельная коррекция, зафиксированная до публикации: моя ранняя рабочая формулировка (включая посылку §0 пре-регистрации) объясняла слепоту REP2 отсутствием санкционного кластера в его графе; проверка живой Neo4j-базы это опровергла: кластер захвачен всеми четырьмя контрольными графами, включая REP2. Пре-регистрированный критерий и результат инъекционного эксперимента от этой посылки не зависят и остаются в силе; дамп рёбер с таймстемпами опубликован в репозитории (LIVE_DB_RECHECK). Это второй случай в серии, когда наблюдение устояло, а раннее объяснение не устояло.

Находки серии переданы мейнтейнерам до публикации: issues #53–#58 в трекере nikmcfly/MiroFish-Offline.

Следующая статья: фраза, ставшая обязательством

Выше дважды упоминались прогоны, остановленные из-за деградации. Третья статья серии посвящена находке, которая начинается с безобидной фразы «в ближайшие 90 дней» в запросе на прогноз: как конвейер конвертирует естественный язык в вычислительные обязательства, почему коэффициент конверсии одинаков на всех четырёх семействах моделей, что происходит с симуляцией на длинной дистанции, и почему у пользователя нет кнопки «стоп».

Это независимое исследование: оно никем не заказано и не спонсировано. Все «дефектные» сущности (Валдория, вымышленный банк и прочие) фиктивны и снабжены дисклеймерами в самих сидах. Материалы серии не являются финансовой или инвестиционной рекомендацией. Английская версия серии (8 статей, с полными limitations и DOI данных) доступна на quantumeon.ai/blog. DOI данных: 10.5281/zenodo.21788962.