- BrainTools - https://www.braintools.ru -

Почему 24-7 ИИ-агенты ломаются за 4 часа: хаос-бенчмарк F01–F10 и открытый линтер Sci Integrity Guard

Когда прототип автономного агента на базе LLM переводят из ноутбука в круглосуточный продакшен, привычные метрики качества ответов внезапно перестают коррелировать с выживаемостью системы. Одиночный вызов модели может выдавать блестящие рассуждения на эталонном бенчмарке, однако уже через четыре часа непрерывной работы цикл ломается от накопления незаметных дефектов среды: утечек оперативной памяти [1] в буферах контекста, каскадных ошибок 429/503 на шлюзе провайдера, зацикливания вызовов инструментов или неидемпотентных побочных эффектов после аварийного перезапуска.

В эмпирическом исследовании MAST (arXiv:2503.13657 [2]) на материале более 1600 трасс многоагентного исполнения было показано, что значительная доля отказов возникает не из-за «слабости» базовой модели, а на стыке архитектуры рантайма, межролевого соглашательства и отсутствия детерминированной проверки границ. В этой статье мы разберём системную таксономию 10 производственных сбоев (F01–F10), открытый исполняемый хаос-бенчмарк без внешних зависимостей, а также нейро-символьный линтер и каузальный арбитр, которые команда EvoNova Labs открыла под лицензиями MIT и CC0-1.0 для воспроизводимой инженерной защиты агентных контуров.

Анатомия деградации длительных агентных циклов

Отказоустойчивость stateless-сервиса и круглосуточного автономного агента — две принципиально разные инженерные задачи. Обычный веб-сервис обрабатывает независимые HTTP-запросы, тогда как автономный агент удерживает длинную эволюционирующую траекторию состояния, опирается на внешние непредсказуемые инструменты (MCP-серверы, браузеры, SQL-базы, файловую систему) и сам генерирует следующий шаг исполнения. Если в одном из узлов возникает слабый дефект — например, парсер не очистил косвенную промпт-инъекцию или оркестратор повторно вызвал уже завершённую транзакцию после обрыва сети, — ошибка [3] экспоненциально усиливается в последующих шагах.

Чтобы перевести обсуждение надёжности от общих советов к проверяемым инвариантам, мы сопоставили классификации MAST и OWASP Top 10 for Agentic Applications (2026) в единой матрице десяти критических режимов отказа (F01–F10) внутри открытого репозитория awesome-autonomous-agent-resilience [4]. Для удобства навигации вся матрица сведена в компактную таблицу с указанием наблюдаемого симптома и базового инженерного контрмеханизма.

Код

Класс отказа

Типовой симптом в продакшене

Инженерный инвариант защиты

F01–F03

Деградация контекста, 429/503 и циклы

Потеря системного промпта, падение воркера, слив бюджета

Скользящее окно с сохранённым инвариантом, трёxфазный Circuit Breaker и потолок шагов

F04–F06

Соглашательство, инъекции и избыточные права

Выдумка параметров, утечка секретов, несанкционированный DROP

Детерминированный верификатор и каузальный граф, изоляция данных, approval gate

F07–F08

Внезапная смерть процесса и OOM-убийца

Дублирование списаний/отправок, утечка RSS до SIGKILL

Журнал намерений SQLite WAL (PENDING -> COMMITTED) и ограниченный LRU-кэш

F09–F10

Побег сгенерированного кода и галлюцинации оферт

Обход песочницы через __subclasses__, обещание скидки 99%

Статический AST-инспектор до исполнения и жёсткая схемная проверка политики

Исполняемый хаос-бенчмарк F01–F10 без внешних зависимостей

Справочник паттернов без исполняемого кода быстро превращается в пассивное чтение. Поэтому в комплект benchmarks/README.md [5] мы включили детерминированный CLI-харнесс на чистом Python 3.11+ (benchmarks/resilience_bench.py), который запускает все десять стресс-сценариев на локальной машине или внутри CI-пайплайна за доли секунды. Внутри модуля сразу поставляются две эталонные реализации: уязвимая обёртка NaiveBaselineAgent, моделирующая типичный «наивный» агентный цикл, и защищённый профиль HardenedReferenceAgent со встроенными инвариантами.

Сравнение NaiveBaselineAgent и HardenedReferenceAgent в хаос-бенчмарке F01–F10

Сравнение NaiveBaselineAgent и HardenedReferenceAgent в хаос-бенчмарке F01–F10

Ключевая ценность такого подхода заключается в том, что разработчик проверяет именно граничные отказы, которые почти никогда не попадают в классические eval-наборы на точность ответов. В сценарии F07 тест принудительно вызывает шаг повторного исполнения с тем же ключом идемпотентности на базе SQLite в режиме WAL и PRAGMA synchronous=FULL, убеждаясь, что реальный побочный эффект сработал строго 1.00 раз вместо двойной записи. В сценарии F09 инспектор разбирает абстрактное синтаксическое дерево (AST) фрагмента ().__class__.__base__.__subclasses__() ещё до запуска интерпретатора и блокирует проход по служебным dunder-атрибутам. Итоговый композитный балл устойчивости вычисляется тривиально как доля пройденных инвариантов в процентах:

S_{text{resilience}}=frac{100}{N} sum_{k=1}^{N} mathbb{I}(text{pass}_{k}), qquad N=10.

Команда запуска python -m benchmarks.resilience_bench --target compare --json report.json --badge badge.svg выдаёт структурированный отчёт в JSON и рендерит автономный SVG-бейдж с текущим счётом защиты, который можно встроить в CI любого Python-проекта. На нашем открытом контуре этот тест гоняется в GitHub Actions для Python 3.11 и 3.12 при каждом коммите наряду с еженедельным lychee-аудитом всех 160 ссылок индекса.

Нейро-символьный контроль научных текстов и формул Word OMML

Отдельный пласт производственных сбоев возникает тогда, когда мультиагентные системы готовят не программный код, а аналитические отчёты, технические спецификации, заявки на НИОКР и академические статьи. Авторы и редакции всё чаще сталкиваются с четырьмя «тихими» галлюцинациями LLM: несовпадением чисел одного и того же эксперимента в разных таблицах документа, появлением «осиротевших» процентов в аннотации и выводах без опоры в табличных строках, выдуманными или обрезанными идентификаторами DOI, а также порчей LaTeX-формул при переносе в Microsoft Word.

Чтобы закрыть эти дефекты детерминированно и без обращения к платным внешним нейромоделям, мы выделили открытый CLI-пакет sci-integrity-guard [6] (sci-guard check, sci-guard omml). Модуль разбора таблиц TableConsistencyGuard нормализует названия сущностей и заголовки колонок с отбрасыванием единиц измерения в скобках (например, сопоставляя Accuracy (%) в таблице 1 и Accuracy в таблице 2) и контролирует расхождение значений в пределах настраиваемого допуска tau=0.05. Одновременно алгоритм проверки текстовых якорей строит множество допустимых табличных величин и производных относительных изменений:

Delta_{text{rel}}=frac{|V_{text{exp}} - V_{text{base}}|}{|V_{text{base}}|} times 100%,

благодаря чему легитимные сравнительные проценты в аннотации и выводах проходят проверку чисто, а любые произвольно приписанные числа без табличной опоры мгновенно помечаются как ORPHANED_PROSE_METRIC.

Особое внимание [7] в модуле CitationVerifier уделено регулярным выражениям и кэшируемой верификации библиографии. Классическая ошибка большинства самописных парсеров DOI состоит в том, что шаблон отбрасывает скобки или точку с запятой внутри идентификатора и разрушает реальные исторические ссылки издательств вроде 10.1175/1520-0469(1963)020<0130:DNF>2.0.CO;2. Наш экстрактор отслеживает парность скобок (), [], <> и очищает только непарную пунктуацию в конце предложения, после чего сверяет метаданные через CrossRef API с автоматическим резервным переходом на OpenAlex и проверкой пересечения токенов заголовка и фамилий авторов. Наконец, подсистема LatexToOmmlConverter отлавливает распространённую порчу Python-литералов вроде x0crac или x09imes вместо frac и times и компилирует формулы в валидный стандарт Word Office Math Markup Language (<m:oMath> и <m:oMathPara>), проверяя корректность XML через стандартный парсер.

from sci_integrity_guard import SciIntegrityGuard, latex_to_omml

guard = SciIntegrityGuard(tolerance=0.05)
report = guard.check_markdown(manuscript_text, verify_dois=False)
print("Passed:", report.passed, "Issues:", len(report.issues))

omml_xml = latex_to_omml(r"Delta G_{bind}^{0} = frac{alpha + beta}{2}", display=True)

Каузальная фильтрация Перла и модульный стек экосистемы

Даже идеальная проверка чисел и ссылок не спасает рассуждения агентов от логической подмены корреляции причинно-следственной связью — от парадокса [8] Симпсона до ошибки коллайдера (парадокса Берксона). Для детерминированного контроля гипотез на уровне причинных структур мы открыли пакет evonova-causal-guard [9], реализующий направленные ациклические графы CausalDAG, мутацию графа оператором вмешательства text{do}(X), точный алгоритм d_separated (Bayes-Ball) и автоматический поиск минимальных множеств корректировки по бэкдор-критерию Перла. Архитектуру дополняет память TabuMemory на канонических SHA-256 отпечатках и коэффициенте Жаккара с TTL, которая физически не позволяет агентам повторно предлагать уже фальсифицированные утверждения в асинхронных дебатах DebateArbiter (Proposer → Skeptic → Judge).

Вокруг этого ядра собрана единая модульная инфраструктура под лицензией MIT без раскрытия каких-либо закрытых промышленных эвристик или корпоративных данных: agent-bunker [10] отвечает за журнал намерений SQLite WAL, контроль RSS-памяти и трёxфазные выключатели; orchestration-engine [11] обеспечивает беззависимую asyncio-оркестрацию волн DAG по алгоритму Кана; agent-security-sandbox [12] перехватывает опасные импорты и обходы через AST-инспекцию; а agentic-vector-memory [13] поддерживает эпизодическую память с экспоненциальным временным затуханием. Все публикации, научный [14] препринт CERN Zenodo (10.5281/zenodo.23942797 [15]), зарегистрированные результаты интеллектуальной деятельности Роспатента и ФИПС, а также открытые репозитории объединены на едином портале EvoNova Labs [16].

Портал открытой экосистемы EvoNova Labs

Портал открытой экосистемы EvoNova Labs

Заключение

Опыт [17] создания круглосуточных систем показывает, что надёжность автономного ИИ достигается не усложнением системного промпта, а строгим разделением ролей: нейросеть отвечает за генерацию гипотез и планов действий, а лёгкая детерминированная обвязка — за журналы восстановления, изоляцию кода, сверку чисел, валидацию DOI и каузальную топологию графа. Все рассмотренные инструменты (awesome-autonomous-agent-resilience вместе с хаос-бенчмарком, sci-integrity-guard, evonova-causal-guard и библиотеки рантайма) открыты на GitHub под пермиссивными лицензиями с набором автоматических тестов и готовы к встраиванию в ваши конвейеры. Будет интересно узнать в комментариях, с какими наиболее неочевидными сбоями длительных агентных циклов или ошибками генерации научных отчётов вы сталкивались на практике и какие дополнительные сценарии стоит добавить в открытую матрицу F01–F10.

Автор: pokushko

Источник [18]


Сайт-источник BrainTools: https://www.braintools.ru

Путь до страницы источника: https://www.braintools.ru/article/38949

URLs in this post:

[1] памяти: http://www.braintools.ru/article/4140

[2] arXiv:2503.13657: https://arxiv.org/abs/2503.13657

[3] ошибка: http://www.braintools.ru/article/4192

[4] awesome-autonomous-agent-resilience: https://github.com/pokushko/awesome-autonomous-agent-resilience

[5] benchmarks/README.md: https://github.com/pokushko/awesome-autonomous-agent-resilience/blob/main/benchmarks/README.md

[6] sci-integrity-guard: https://github.com/pokushko/sci-integrity-guard

[7] внимание: http://www.braintools.ru/article/7595

[8] парадокса: http://www.braintools.ru/article/8221

[9] evonova-causal-guard: https://github.com/pokushko/evonova-causal-guard

[10] agent-bunker: https://github.com/pokushko/agent-bunker

[11] orchestration-engine: https://github.com/pokushko/orchestration-engine

[12] agent-security-sandbox: https://github.com/pokushko/agent-security-sandbox

[13] agentic-vector-memory: https://github.com/pokushko/agentic-vector-memory

[14] научный: http://www.braintools.ru/article/7634

[15] 10.5281/zenodo.23942797: https://doi.org/10.5281/zenodo.23942797

[16] EvoNova Labs: https://pokushko.github.io

[17] Опыт: http://www.braintools.ru/article/6952

[18] Источник: https://habr.com/ru/articles/1110886/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1110886

www.BrainTools.ru

Rambler's Top100