- BrainTools - https://www.braintools.ru -

От галлюцинаций LLM к ошибкам мультиагентных систем: как обнаруживать ошибки в системах искусственного интеллекта?

От галлюцинаций LLM к ошибкам мультиагентных систем: как обнаруживать ошибки в системах искусственного интеллекта? - 1

Меня зовут Максим Макаренко, я руковожу командой прикладных исследований в Sber AI Lab Сбера. Вместе с Юлией Беликовой, старшим исследователем из нашей команды, мы занимаемся новыми подходами к большим языковым моделям и ИИ-агентам: от памяти [1] и рассуждений до надёжности, контроля и обнаружения ошибок.

Одно из направлений нашей работы — разработка методов обнаружения и контроля ошибок в сложных ИИ-системах. По мере того как LLM переходят от обычных чат-ботов к RAG, памяти, инструментам и мультиагентным системам, меняется и сама задача проверки: уже недостаточно посмотреть только на финальный ответ, нужно понимать, где именно в цепочке рассуждений и действий могла возникнуть ошибка [2].

В этой статье мы расскажем о двух наших работах — SIRIN и AutoJudge — и покажем, как задача обнаружения галлюцинаций постепенно превращается в более общую задачу контроля сложных ИИ-систем.

1. Проблема галлюцинаций: почему она никуда не исчезла

Большие языковые модели уже давно вышли за пределы обычного чат-бота. Сегодня они отвечают по корпоративным документам, работают в RAG-системах, вызывают инструменты, используют долговременную память [3] и становятся частью агентных систем. Казалось бы, чем больше у модели внешних данных и инструментов, тем меньше места остаётся для галлюцинаций. Но на практике проблема никуда не исчезает: LLM по-прежнему может уверенно сгенерировать утверждение, которого в доступных ей данных нет. Для чат-бота это может быть выдуманный факт или ссылка. В RAG-системе ситуация интереснее: ответ звучит убедительно и даже опирается на найденные документы, но часть утверждений из них не следует. Такой случай обычно называют контекстной галлюцинацией.

Контекст: «В исследовании участвовали 120 человек».
Ответ модели: «В исследовании участвовали 120 человек, поровну разделённых на контрольную и экспериментальную группы».

На первый взгляд, ответ выглядит вполне правдоподобно. Число участников действительно есть в контексте, а вот разбиение поровну модель добавила сама. Здесь и возникает важное различие: нас интересует не только фактическая правильность ответа «вообще», но и то, подтверждается ли он данными, которые реально были доступны системе. Автоматическую проверку ответов модели на подобные ошибки называют детекцией галлюцинаций.

Пока ответ просто показывается пользователю, ошибку ещё можно заметить и исправить. Но всё становится неприятнее, когда результат LLM автоматически идёт дальше: записывается в память, становится входом для следующего шага или влияет на действие системы. Поэтому детекция галлюцинаций постепенно превращается из исследовательской задачи в часть рабочего контура контроля.

контекст → LLM → ответ → детектор → принять, повторить или проверить

Детектор может проверять ответ целиком или локализовать конкретный неподтверждённый фрагмент. Второй вариант полезен для выборочной перегенерации и диагностики.

2. Как обнаруживать галлюцинации?

Как понять, что модель ошиблась? Универсального признака здесь нет. Поэтому методы детекции галлюцинаций подходят к проблеме с разных сторон: одни оценивают неопределённость предсказаний, другие напрямую ищут признаки галлюцинаций во внутренних представлениях моделей, третьи поручают проверку отдельной модели-судье. Разберём эти подходы.

Архитектура SIRIN — библиотеки для детекции галлюцинаций LLM

Архитектура SIRIN — библиотеки для детекции галлюцинаций LLM

2.1. Методы на основе оценки неопределённости

Одна из естественных идей — оценить, насколько модель уверена в своём ответе, то есть измерить её неопределённость (англ. uncertainty estimation). Это широкое семейство методов, использующих разные источники информации [4]: вероятности токенов, энтропию предсказаний, согласованность нескольких генераций и даже скрытые состояния модели. Например, если при повторных запусках ответы заметно расходятся по смыслу, то это может сигнализировать об ошибке.

Подход привлекателен тем, что иногда позволяет обойтись без отдельной модели-проверяющего. Но есть важная оговорка: уверенность не равна корректности. LLM умеет очень уверенно ошибаться, а высокая неопределённость иногда означает лишь то, что правильный ответ можно сформулировать несколькими способами.

2.2. Методы на основе зондирования внутренних представлений

Другой подход — использовать внутренние представления нейросети: скрытые состояния, активации отдельных слоёв, логиты и другие признаки. Поверх них обучается небольшой классификатор — зонд (англ. probe), который пытается отличить поддержанные контекстом фрагменты от галлюцинаций, не изменяя веса исходной модели.

При этом зондирование не обязательно требует доступа к внутренним состояниям самой модели-генератора. Если она доступна только через API, то можно использовать другую, открытую модель — proxy-LLM. Ей передают исходный контекст и полученный ответ, предлагая воспроизвести его, а затем используют её скрытые состояния для обучения [5] и работы детектора. Основные ограничения здесь связаны с необходимостью обучающих данных и зависимостью качества детектора от выбранной модели и домена.

2.3. Модели-судьи: от encoder-классификаторов до LLM-as-a-Judge

Ещё один подход — поручить проверку отдельной модели, которая получает исходный контекст, вопрос и ответ генератора и оценивает, насколько ответ подтверждается доступными данными. При этом судья не обязательно должен быть генеративной LLM. Например, можно обучить encoder-классификатор на основе BERT-подобной модели, который анализирует входные данные целиком и возвращает класс или оценку согласованности. Похожий сценарий негeнеративной оценки реализует Jev от TypeSafe AI [6]: модель возвращает вероятности для заданных вариантов решения вместо генерации текста.

контекст + вопрос + ответ → модель-судья → подтверждено или не подтверждено

Другой вариант — LLM-as-a-Judge: передать те же данные генеративной модели и попросить её проверить утверждения, локализовать проблемный фрагмент или дать объяснение. Такой подход гибче и удобен, когда заранее размеченных данных мало, но он зависит от инструкции и контекста, может ошибаться и обычно дороже. Encoder-классификаторы, напротив, часто компактнее и дешевле, но требуют обучающих данных и сильнее привязаны к конкретной задаче.

Подход

Доступ к модели

Основное ограничение

Оценка неопределённости

Частичный доступ ко внутренним состояниям LLM или дополнительные вызовы LLM.

Уверенность ≠ корректность.

Пробинг внутренних представлений

Доступ ко внутренним состояниям LLM или proxy-LLM.

Минимум 300-500 обучающих примеров.

Модели-судьи

Не нужен.

Дополнительная языковая модель и минимум 1000 обучающих примеров (в случае дообучения судьи).

3. SIRIN: как собрать разные методы в одном месте

На практике методы детекции галлюцинаций предъявляют разные требования к инфраструктуре. Одним нужны внутренние состояния модели, другим — несколько генераций, третьим — отдельная модель-судья. Из-за этого их сложно интегрировать в одну систему, сравнивать между собой, комбинировать и разрабатывать новые методы.

Чтобы решить эту проблему, мы разработали SIRIN — Semantic Inconsistency Recognition and Inspection Nexus [1]. Библиотека предоставляет единый интерфейс для методов оценки неопределённости, зондирования и моделей-судей, включая encoder-классификаторы и генеративные LLM-судьи. Она позволяет работать как с открытыми, так и с закрытыми моделями-генераторами, а также обнаруживать галлюцинации на уровне всего ответа или отдельных его фрагментов.

Помимо проверки готовых ответов, SIRIN позволяет оценивать достаточность контекста ещё до генерации. Например, в RAG-системе можно сначала проверить, хватает ли найденных документов для ответа, и при необходимости повторить поиск или отказаться от генерирования, а после получения ответа — проверить, насколько его утверждения подтверждаются источниками.

запрос → поиск → проверка достаточности → генерация → проверка галлюцинаций → пользователь

4. Что меняется в мультиагентных системах?

С одной LLM всё относительно понятно: есть контекст, есть ответ, между ними можно искать несоответствия. Но стоит добавить несколько агентов и инструменты — и объект проверки меняется. Теперь нужно учитывать всю историю работы системы: сообщения агентов, вызовы инструментов, результаты этих вызовов и промежуточные решения.

Представим простой сценарий: исследователь неверно извлёк число из документа, аналитик корректно посчитал результат уже с этим числом, а координатор аккуратно собрал финальный ответ. Последние шаги сами по себе выглядят разумно, но вся цепочка построена на ошибочной предпосылке.

пользователь → планировщик → исследователь → инструмент → аналитик → координатор → ответ

К галлюцинациям добавляются ошибки планирования, использования инструментов, коммуникации и агрегирования. Причём ранняя ошибка может пройти через несколько агентов и к финалу выглядеть как согласованное решение всей системы.

Отсюда следующий шаг: проверять нужно уже не только финальный ответ, но и то, как система к нему пришла. Специализированные методы оценки истории выполнения уже решают отдельные части этой задачи. Но часто они привязаны к конкретной таксономии ошибок и заранее спроектированному конвейеру проверки. Если меняется система или набор критериев, то приходится заново проектировать и саму оценку.

5. AutoJudge: как проверять историю работы системы

Здесь мы приходим к нашей следующей работе AutoJudge [2]. Если SIRIN помогает выбирать и применять детекторы для отдельного ответа, то в AutoJudge объектом оценки становится история работы агентной системы. Основной вопрос уже другой: «Можно ли автоматически построить подходящую процедуру проверки под конкретный запуск агентской системы?»

На вход AutoJudge получает историю выполнения, таксономию оценки и схему требуемого результата. Дальше мета-агент анализирует задачу и сам формирует набор специализированных промежуточных судей и итогового агрегатора. То есть автоматизируется не только проверка, но и проектирование её конвейера.

Промежуточные судьи смотрят на разные этапы работы системы, а итоговый агрегатор сопоставляет их выводы с исходными данными и формирует структурированный результат. Важный момент: это не простое голосование. Если оценки расходятся, то агрегатор может обратиться к исходной истории выполнения и разрешить противоречие.

Архитектура AutoJudge — фреймворка для обнаружения ошибок в мультиагентных системах

Архитектура AutoJudge — фреймворка для обнаружения ошибок в мультиагентных системах

5.1. Адаптивная проверка

Здесь есть два режима. В основном варианте отдельный конвейер создают для каждого запуска системы — получается дороже, зато оценка лучше адаптируется к конкретному поведению [7] агентов. Более экономный вариант: создать один конвейер и переиспользовать его для всего набора данных. В экспериментах адаптация к отдельному запуску обычно оказывается полезнее, особенно когда поведение [8] агентов сильно различается.

Отдельная практическая проблема — объём истории исполнения. Сообщения агентов вместе с результатами инструментов могут быть слишком большими, чтобы каждый раз целиком отправлять их каждому судье. Поэтому AutoJudge умеет работать как с полной историей, так и с кратким представлением: судьи видят сжатые шаги, а при необходимости точечно запрашивают оригинал нужного шага из внешнего хранилища.

5.2. Что получилось в экспериментах?

Чтобы проверить, работает ли такая схема за пределами одного сценария, мы протестировали AutoJudge на нескольких наборах данных с разными историями работы агентных систем и критериями оценки. Для нас здесь важен не отдельный сценарий, а способность одной схемы генерирования судей подстраиваться под разные таксономии ошибок и агентские системы без отдельного обучения под каждый набор.

Результат получился ожидаемо не абсолютным: AutoJudge не становится универсальным эталоном, а на отдельных узкоспециализированных метриках вручную настроенные судьи всё ещё могут быть сильнее. При этом динамически построенные конвейеры остаются конкурентоспособными в разных задачах и часто превосходят фиксированные варианты.

Самый показательный для нас контрольный эксперимент — Who&When с одной и той же моделью GPT-4o. AutoJudge повышает точность определения ошибочного агента с 55,17% до 67,24%. Здесь важно именно одинаковое основание сравнения: прирост нельзя списать просто на более сильную модель-судью.

Конечно, цена за гибкость остаётся. Полную историю выполнения дорого проверять, сжатие может потерять важную деталь, а для очень узких критериев ручная настройка иногда оправдана.

Заключение

В итоге SIRIN и AutoJudge можно рассматривать как два уровня решения одной задачи. Сначала мы хотим понять, поддерживается ли конкретный ответ исходными данными, а затем, когда LLM становится частью агентной системы, приходится разбирать уже весь путь до этого ответа. Именно здесь привычный вопрос о галлюцинации перестаёт быть только вопросом к тексту. Ошибка может появиться при планировании, вызове инструмента или передаче информации между агентами — и проявиться лишь через несколько шагов. AutoJudge продолжает эту линию на уровне истории выполнения: вместо одного заранее заданного судьи создают конвейер оценки под конкретный запуск системы, таксономию и требуемый формат результата. Получается естественная эволюция [9] задачи: от «подтверждается ли этот ответ?» к «где именно ошиблась система и какой способ проверки нужен, чтобы это увидеть?»

Материалы

1. SIRIN — Semantic Inconsistency Recognition and Inspection Nexus: статья arxiv.org/abs/2608.00033 [10]; код github.com/sb-ai-lab/SIRIN [11]

2. AutoJudge — Automatic Generation of LLM-Based Judges from Execution Traces: статья https://icml.cc/virtual/2026/77847 [12]; код github.com/sb-ai-lab/MASeval [13]

Автор: Sber

Источник [14]


Сайт-источник BrainTools: https://www.braintools.ru

Путь до страницы источника: https://www.braintools.ru/article/38681

URLs in this post:

[1] памяти: http://www.braintools.ru/article/4140

[2] ошибка: http://www.braintools.ru/article/4192

[3] долговременную память: http://www.braintools.ru/article/9500

[4] источники информации: http://www.braintools.ru/article/8616

[5] обучения: http://www.braintools.ru/article/5125

[6] Jev от TypeSafe AI: https://typesafe.ai/blog/introducing-system-one-models-and-jev

[7] поведению: http://www.braintools.ru/article/9372

[8] поведение: http://www.braintools.ru/article/5593

[9] эволюция: http://www.braintools.ru/article/7702

[10] arxiv.org/abs/2608.00033: http://arxiv.org/abs/2608.00033

[11] github.com/sb-ai-lab/SIRIN: http://github.com/sb-ai-lab/SIRIN

[12] https://icml.cc/virtual/2026/77847: https://icml.cc/virtual/2026/77847

[13] github.com/sb-ai-lab/MASeval: http://github.com/sb-ai-lab/MASeval

[14] Источник: https://habr.com/ru/companies/sberbank/articles/1104342/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1104342

www.BrainTools.ru

Rambler's Top100