- BrainTools - https://www.braintools.ru -

Меня зовут Максим Макаренко, я руковожу командой прикладных исследований в Sber AI Lab Сбера. Вместе с Юлией Беликовой, старшим исследователем из нашей команды, мы занимаемся новыми подходами к большим языковым моделям и ИИ-агентам: от памяти [1] и рассуждений до надёжности, контроля и обнаружения ошибок.
Одно из направлений нашей работы — разработка методов обнаружения и контроля ошибок в сложных ИИ-системах. По мере того как LLM переходят от обычных чат-ботов к RAG, памяти, инструментам и мультиагентным системам, меняется и сама задача проверки: уже недостаточно посмотреть только на финальный ответ, нужно понимать, где именно в цепочке рассуждений и действий могла возникнуть ошибка [2].
В этой статье мы расскажем о двух наших работах — SIRIN и AutoJudge — и покажем, как задача обнаружения галлюцинаций постепенно превращается в более общую задачу контроля сложных ИИ-систем.
Большие языковые модели уже давно вышли за пределы обычного чат-бота. Сегодня они отвечают по корпоративным документам, работают в RAG-системах, вызывают инструменты, используют долговременную память [3] и становятся частью агентных систем. Казалось бы, чем больше у модели внешних данных и инструментов, тем меньше места остаётся для галлюцинаций. Но на практике проблема никуда не исчезает: LLM по-прежнему может уверенно сгенерировать утверждение, которого в доступных ей данных нет. Для чат-бота это может быть выдуманный факт или ссылка. В RAG-системе ситуация интереснее: ответ звучит убедительно и даже опирается на найденные документы, но часть утверждений из них не следует. Такой случай обычно называют контекстной галлюцинацией.
Контекст: «В исследовании участвовали 120 человек».
Ответ модели: «В исследовании участвовали 120 человек, поровну разделённых на контрольную и экспериментальную группы».
На первый взгляд, ответ выглядит вполне правдоподобно. Число участников действительно есть в контексте, а вот разбиение поровну модель добавила сама. Здесь и возникает важное различие: нас интересует не только фактическая правильность ответа «вообще», но и то, подтверждается ли он данными, которые реально были доступны системе. Автоматическую проверку ответов модели на подобные ошибки называют детекцией галлюцинаций.
Пока ответ просто показывается пользователю, ошибку ещё можно заметить и исправить. Но всё становится неприятнее, когда результат LLM автоматически идёт дальше: записывается в память, становится входом для следующего шага или влияет на действие системы. Поэтому детекция галлюцинаций постепенно превращается из исследовательской задачи в часть рабочего контура контроля.
контекст → LLM → ответ → детектор → принять, повторить или проверить
Детектор может проверять ответ целиком или локализовать конкретный неподтверждённый фрагмент. Второй вариант полезен для выборочной перегенерации и диагностики.
Как понять, что модель ошиблась? Универсального признака здесь нет. Поэтому методы детекции галлюцинаций подходят к проблеме с разных сторон: одни оценивают неопределённость предсказаний, другие напрямую ищут признаки галлюцинаций во внутренних представлениях моделей, третьи поручают проверку отдельной модели-судье. Разберём эти подходы.
Одна из естественных идей — оценить, насколько модель уверена в своём ответе, то есть измерить её неопределённость (англ. uncertainty estimation). Это широкое семейство методов, использующих разные источники информации [4]: вероятности токенов, энтропию предсказаний, согласованность нескольких генераций и даже скрытые состояния модели. Например, если при повторных запусках ответы заметно расходятся по смыслу, то это может сигнализировать об ошибке.
Подход привлекателен тем, что иногда позволяет обойтись без отдельной модели-проверяющего. Но есть важная оговорка: уверенность не равна корректности. LLM умеет очень уверенно ошибаться, а высокая неопределённость иногда означает лишь то, что правильный ответ можно сформулировать несколькими способами.
Другой подход — использовать внутренние представления нейросети: скрытые состояния, активации отдельных слоёв, логиты и другие признаки. Поверх них обучается небольшой классификатор — зонд (англ. probe), который пытается отличить поддержанные контекстом фрагменты от галлюцинаций, не изменяя веса исходной модели.
При этом зондирование не обязательно требует доступа к внутренним состояниям самой модели-генератора. Если она доступна только через API, то можно использовать другую, открытую модель — proxy-LLM. Ей передают исходный контекст и полученный ответ, предлагая воспроизвести его, а затем используют её скрытые состояния для обучения [5] и работы детектора. Основные ограничения здесь связаны с необходимостью обучающих данных и зависимостью качества детектора от выбранной модели и домена.
Ещё один подход — поручить проверку отдельной модели, которая получает исходный контекст, вопрос и ответ генератора и оценивает, насколько ответ подтверждается доступными данными. При этом судья не обязательно должен быть генеративной LLM. Например, можно обучить encoder-классификатор на основе BERT-подобной модели, который анализирует входные данные целиком и возвращает класс или оценку согласованности. Похожий сценарий негeнеративной оценки реализует Jev от TypeSafe AI [6]: модель возвращает вероятности для заданных вариантов решения вместо генерации текста.
контекст + вопрос + ответ → модель-судья → подтверждено или не подтверждено
Другой вариант — LLM-as-a-Judge: передать те же данные генеративной модели и попросить её проверить утверждения, локализовать проблемный фрагмент или дать объяснение. Такой подход гибче и удобен, когда заранее размеченных данных мало, но он зависит от инструкции и контекста, может ошибаться и обычно дороже. Encoder-классификаторы, напротив, часто компактнее и дешевле, но требуют обучающих данных и сильнее привязаны к конкретной задаче.
|
Подход |
Доступ к модели |
Основное ограничение |
|
Оценка неопределённости |
Частичный доступ ко внутренним состояниям LLM или дополнительные вызовы LLM. |
Уверенность ≠ корректность. |
|
Пробинг внутренних представлений |
Доступ ко внутренним состояниям LLM или proxy-LLM. |
Минимум 300-500 обучающих примеров. |
|
Модели-судьи |
Не нужен. |
Дополнительная языковая модель и минимум 1000 обучающих примеров (в случае дообучения судьи). |
На практике методы детекции галлюцинаций предъявляют разные требования к инфраструктуре. Одним нужны внутренние состояния модели, другим — несколько генераций, третьим — отдельная модель-судья. Из-за этого их сложно интегрировать в одну систему, сравнивать между собой, комбинировать и разрабатывать новые методы.
Чтобы решить эту проблему, мы разработали SIRIN — Semantic Inconsistency Recognition and Inspection Nexus [1]. Библиотека предоставляет единый интерфейс для методов оценки неопределённости, зондирования и моделей-судей, включая encoder-классификаторы и генеративные LLM-судьи. Она позволяет работать как с открытыми, так и с закрытыми моделями-генераторами, а также обнаруживать галлюцинации на уровне всего ответа или отдельных его фрагментов.
Помимо проверки готовых ответов, SIRIN позволяет оценивать достаточность контекста ещё до генерации. Например, в RAG-системе можно сначала проверить, хватает ли найденных документов для ответа, и при необходимости повторить поиск или отказаться от генерирования, а после получения ответа — проверить, насколько его утверждения подтверждаются источниками.
запрос → поиск → проверка достаточности → генерация → проверка галлюцинаций → пользователь
С одной LLM всё относительно понятно: есть контекст, есть ответ, между ними можно искать несоответствия. Но стоит добавить несколько агентов и инструменты — и объект проверки меняется. Теперь нужно учитывать всю историю работы системы: сообщения агентов, вызовы инструментов, результаты этих вызовов и промежуточные решения.
Представим простой сценарий: исследователь неверно извлёк число из документа, аналитик корректно посчитал результат уже с этим числом, а координатор аккуратно собрал финальный ответ. Последние шаги сами по себе выглядят разумно, но вся цепочка построена на ошибочной предпосылке.
пользователь → планировщик → исследователь → инструмент → аналитик → координатор → ответ
К галлюцинациям добавляются ошибки планирования, использования инструментов, коммуникации и агрегирования. Причём ранняя ошибка может пройти через несколько агентов и к финалу выглядеть как согласованное решение всей системы.
Отсюда следующий шаг: проверять нужно уже не только финальный ответ, но и то, как система к нему пришла. Специализированные методы оценки истории выполнения уже решают отдельные части этой задачи. Но часто они привязаны к конкретной таксономии ошибок и заранее спроектированному конвейеру проверки. Если меняется система или набор критериев, то приходится заново проектировать и саму оценку.
Здесь мы приходим к нашей следующей работе AutoJudge [2]. Если SIRIN помогает выбирать и применять детекторы для отдельного ответа, то в AutoJudge объектом оценки становится история работы агентной системы. Основной вопрос уже другой: «Можно ли автоматически построить подходящую процедуру проверки под конкретный запуск агентской системы?»
На вход AutoJudge получает историю выполнения, таксономию оценки и схему требуемого результата. Дальше мета-агент анализирует задачу и сам формирует набор специализированных промежуточных судей и итогового агрегатора. То есть автоматизируется не только проверка, но и проектирование её конвейера.
Промежуточные судьи смотрят на разные этапы работы системы, а итоговый агрегатор сопоставляет их выводы с исходными данными и формирует структурированный результат. Важный момент: это не простое голосование. Если оценки расходятся, то агрегатор может обратиться к исходной истории выполнения и разрешить противоречие.
Здесь есть два режима. В основном варианте отдельный конвейер создают для каждого запуска системы — получается дороже, зато оценка лучше адаптируется к конкретному поведению [7] агентов. Более экономный вариант: создать один конвейер и переиспользовать его для всего набора данных. В экспериментах адаптация к отдельному запуску обычно оказывается полезнее, особенно когда поведение [8] агентов сильно различается.
Отдельная практическая проблема — объём истории исполнения. Сообщения агентов вместе с результатами инструментов могут быть слишком большими, чтобы каждый раз целиком отправлять их каждому судье. Поэтому AutoJudge умеет работать как с полной историей, так и с кратким представлением: судьи видят сжатые шаги, а при необходимости точечно запрашивают оригинал нужного шага из внешнего хранилища.
Чтобы проверить, работает ли такая схема за пределами одного сценария, мы протестировали AutoJudge на нескольких наборах данных с разными историями работы агентных систем и критериями оценки. Для нас здесь важен не отдельный сценарий, а способность одной схемы генерирования судей подстраиваться под разные таксономии ошибок и агентские системы без отдельного обучения под каждый набор.
Результат получился ожидаемо не абсолютным: AutoJudge не становится универсальным эталоном, а на отдельных узкоспециализированных метриках вручную настроенные судьи всё ещё могут быть сильнее. При этом динамически построенные конвейеры остаются конкурентоспособными в разных задачах и часто превосходят фиксированные варианты.
Самый показательный для нас контрольный эксперимент — Who&When с одной и той же моделью GPT-4o. AutoJudge повышает точность определения ошибочного агента с 55,17% до 67,24%. Здесь важно именно одинаковое основание сравнения: прирост нельзя списать просто на более сильную модель-судью.
Конечно, цена за гибкость остаётся. Полную историю выполнения дорого проверять, сжатие может потерять важную деталь, а для очень узких критериев ручная настройка иногда оправдана.
В итоге SIRIN и AutoJudge можно рассматривать как два уровня решения одной задачи. Сначала мы хотим понять, поддерживается ли конкретный ответ исходными данными, а затем, когда LLM становится частью агентной системы, приходится разбирать уже весь путь до этого ответа. Именно здесь привычный вопрос о галлюцинации перестаёт быть только вопросом к тексту. Ошибка может появиться при планировании, вызове инструмента или передаче информации между агентами — и проявиться лишь через несколько шагов. AutoJudge продолжает эту линию на уровне истории выполнения: вместо одного заранее заданного судьи создают конвейер оценки под конкретный запуск системы, таксономию и требуемый формат результата. Получается естественная эволюция [9] задачи: от «подтверждается ли этот ответ?» к «где именно ошиблась система и какой способ проверки нужен, чтобы это увидеть?»
1. SIRIN — Semantic Inconsistency Recognition and Inspection Nexus: статья arxiv.org/abs/2608.00033 [10]; код github.com/sb-ai-lab/SIRIN [11]
2. AutoJudge — Automatic Generation of LLM-Based Judges from Execution Traces: статья https://icml.cc/virtual/2026/77847 [12]; код github.com/sb-ai-lab/MASeval [13]
Автор: Sber
Источник [14]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/38681
URLs in this post:
[1] памяти: http://www.braintools.ru/article/4140
[2] ошибка: http://www.braintools.ru/article/4192
[3] долговременную память: http://www.braintools.ru/article/9500
[4] источники информации: http://www.braintools.ru/article/8616
[5] обучения: http://www.braintools.ru/article/5125
[6] Jev от TypeSafe AI: https://typesafe.ai/blog/introducing-system-one-models-and-jev
[7] поведению: http://www.braintools.ru/article/9372
[8] поведение: http://www.braintools.ru/article/5593
[9] эволюция: http://www.braintools.ru/article/7702
[10] arxiv.org/abs/2608.00033: http://arxiv.org/abs/2608.00033
[11] github.com/sb-ai-lab/SIRIN: http://github.com/sb-ai-lab/SIRIN
[12] https://icml.cc/virtual/2026/77847: https://icml.cc/virtual/2026/77847
[13] github.com/sb-ai-lab/MASeval: http://github.com/sb-ai-lab/MASeval
[14] Источник: https://habr.com/ru/companies/sberbank/articles/1104342/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1104342
Нажмите здесь для печати.