Как оценить надежность диагнозов LLM, если доступен только API

Привет! Меня зовут Глеб Кузьмин, я научный ^[1] сотрудник лаборатории FusionBrain и занимаюсь методами оценки неопределенности для моделей машинного обучения ^[2]. В этом тексте я хотел бы рассказать про нашу работу “Uncertainty Guardrails for LLM-Based Medical Diagnostic Systems” ^[3], которая была представлена на Industry track EMNLP 2026, а на воркшопе UncertaiNLP 2026 получила Spotlight. В статье мы исследовали задачу оценки неопределенности ответов модели медицинской диагностики.

Медицинские консультации стали, пожалуй, одной из самых первых областей человеческой деятельности, где LLM начали применять наиболее активно. Разработка и обучение специализированных ИИ‑ассистентов сможет облегчить рутину и документооборот медицинских работников и потому является важной задачей для многих компаний. 

И, конечно, галлюцинации LLM здесь — реальная проблема, потому что на кону находится здоровье людей. Бороться с ними помогают методы оценки неопределённости (uncertainty quantification, UQ), которые присваивают ответу меру уверенности модели — если она низка, врачу стоит быть внимательнее. Такие методы развиваются давно, и зачастую они анализируют логиты или скрытые состояния модели. Но как быть, если основная модель доступна только через API?

Вот об этом и поговорим.

Оценка неопределенности для каждой гипотезы

Представьте такую ситуацию — пациентка жалуется на сильную жажду, частое мочеиспускание и постоянную слабость. Симптомы появились два месяца назад, и за это время она потеряла шесть килограммов. Ассистент (модель для медицинской диагностики на основе LLM) задает уточняющие вопросы и предлагает три возможных диагноза с указанием значения уверенности. В нашей статье приведён рисунок, который иллюстрирует, как бы мог выглядеть такой диалог: 

Диагнозы при этом предлагает специализированная LLM, доступа к которой нет. Так откуда же мы берём эти оценки, если основная модель доступна только через API?

Всё начинается с того, что используемый ассистент работает с диалогом первичного сбора анамнеза: жалобами, историей симптомов, ответами на уточняющие вопросы. По этому диалогу GigaChat-2-Max предлагает до трех диагностических гипотез. При этом ассистент не может провести полное обследования, и окончательный диагноз на этом этапе может быть неизвестен.

Так как каждая гипотеза соответствует отдельному диагнозу, для каждой из них требовалась отдельная оценка надежности. В одном ответе могут соседствовать хорошо обоснованный диагноз и предположение, для которого практически нет предпосылок. Усреднять их уверенность в данной задаче неправильно: врачу пришлось бы дополнительно выяснять, к какой части ответа относится предупреждение.

Дополнительный механизм для проверки качества ответов поверх основной системы часто называют “guardrail”. В нашем случае он присваивает каждому диагнозу уровень уверенности и показывает их врачу. Основную LLM переобучать не требуется, хотя сам модуль оценки мы обучаем отдельно.

Уверенность здесь характеризует надежность вывода модели по имеющемуся диалогу, и соответствует единице минус значение оценки неопределенности. Хочу отдельно обозначить, что рассматривать уверенность как вероятность заболевания у пациента нельзя — для этого нужны другие методы, а также дополнительная калибровка оценок неопределенности.

Как оценивать неопределенность

В работе мы сравнили 16 методов оценки неопределенности. Они используют несколько источников информации, и сейчас я кратко расскажу про основные группы методов, рассмотренные в работе.

Первая группа использует повторные генерации (сэмплирование ответов). Мы можем несколько раз задать модели один и тот же вопрос и сравнить ответы — если диагнозы постоянно меняются, это может быть знаком низкой уверенности в ответе. Как правило, методы этой группы оценивают разнообразие смыслов ответов при помощи дополнительной модели (например, используя модель для natural language inference (NLI)). Такие методы подходят для моделей с доступом по API, но требуют дополнительных генераций. Также согласованность ответов не гарантирует правильность, так как модель способна повторять ^[4] ошибку ^[5].

Вторая группа использует только текст диалога и диагноза. Можно собрать примеры с известными оценками корректности (например, метрикой качества ответа) и обучить отдельный классификатор. В наших экспериментах такой подход назывался Text‑Based UQ или TB UQ — при этом он также совместим с закрытой моделью‑ассистентом.

Третью группу методов я упоминал в самом начале — они используют внутренние признаки LLM: вероятности токенов, скрытые состояния (hidden states) на различных слоях и значения attention. В ряде предыдущих работ показывалось, что эти признаки достаточно информативны для проверки достоверности ответа и помогают детектировать галлюцинации. Также по этим признакам можно обучить небольшую модель, предсказывающую корректность ответа — в частности, такой подход используется в методе UHead ^[6], который мы взяли за основу. Однако здесь есть существенная проблема — внутренние признаки GigaChat-2-Max, который ставил нам диагнозы, недоступны.

Сравнение диагнозов

Наиболее очевидным бейзлайном в данной задаче была первая группа методов — простое сэмплирование ответов и сравнение их по смыслу, которое лежит в основе множества методов. Однако с этими методами мы сразу же столкнулись с проблемой, связанной с особенностью доменной области — как правильно сравнивать сгенерированные диагнозы по смыслу? Аналогичный вопрос появляется и при оценивании качества основной модели — то есть при сравнении генерации с человеческой разметкой.

Например, «острый панкреатит» и «обострение хронического панкреатита» имеют общие слова (и в целом могут выглядеть похоже с точки зрения ^[7] неспециалиста), но в нашей задаче соответствуют разным состояниям. Встречается и обратная ситуация: формулировки различаются, хотя эксперт считает их соответствующими друг другу. Обычная NLI модель, которая как правило используется для семантического сравнения внутри методов на основе сэмплирования, может не учитывать такие различия.

Для решения этой проблемы мы обучили специализированную модель сопоставления диагнозов на основе ModernBERT ^[8] на экспертной разметке пар диагнозов и решениях ансамбля моделей. После этого мы заменили универсальные NLI модели в нескольких методах UQ на обученную доменную модель.

В эксперименте с открытой GigaChat-2-Lite это улучшило два из трех проверенных методов на основе семантического сравнения. Таким образом улучшение NLI модели, которая используется для семантического сравнения, позволяет улучшить качество оценок неопределенности. При этом такой модификации оказалось недостаточно, чтобы получить лучший результат среди всех подходов.

Как использовать UHead при закрытых весах основной модели

В качестве дополнительного метода мы решили использовать UHead — однако для него требовался доступ к внутренним признакам основной модели. Вместо закрытого GigaChat-2-Max (основная модель) мы решили использовать открытую GigaChat-2-Lite с семью миллиардами параметров как прокси‑модель, из которой мы можем извлечь внутренние признаки.

Итоговая схема решения такая — сначала основная модель получает диалог и предлагает диагнозы, а затем прокси‑модель обрабатывает тот же запрос вместе с готовым ответом основной модели. Мы извлекаем ее скрытые состояния, attention и вероятности токенов, и на их основе обучаем UHead. После этого на инференсе UHead выдает оценку для каждого диагноза из исходного ответа.

Общая интуиция ^[9] при использовании прокси‑модели следующая — неполный или неоднозначный диалог создает трудности для разных моделей; также у моделей одного семейства могут быть сходные пробелы в знаниях. Мы предположили, что признаки прокси‑модели сохранят полезный сигнал и для оценки основного генератора. Эксперименты показали пользу этих признаков, но пока не объяснили механизм переноса неопределенности — это интересный открытый вопрос, который мы оставили для будущих исследований.

Проверка результата

У нас был исходный набор тестовых данных, который содержал 360 русскоязычных диалогов. Половину составили ролевые беседы двух врачей: один изображал пациента с известным заболеванием, второй собирал анамнез. Другую половину составили разговоры реальных пациентов с LLM. Каждый диалог независимо прочитали семь врачей и предложили диагностические гипотезы.

После фильтрации по длине осталось 323 диалога: 259 для тестирования и 64 для подбора порогов уверенности и дополнительного анализа. Также для обучения UHead и TB UQ мы использовали дополнительные 1500 диалогов с целевыми диагнозами от DeepSeek‑V3.2. Качество на тестовой выборке считалось путем сравнения сгенерированных моделью‑ассистентом диагнозов с врачебной разметкой.

Предсказанный диагноз засчитывался как корректный, если специализированная модель сопоставления находила соответствие хотя бы одной экспертной гипотезе. Мы обозначили эту метрику как Relaxed Exact Match — она допускает разные формулировки предсказанных диагнозов и их порядок в ответе, но зависит от качества сопоставления и полноты экспертного списка.

Чтобы оценить саму оценки неопределенности мы использовали метрику Prediction Rejection Ratio с порогом 0.5 (PRR@0.5). Суть в следующем: представьте, что мы постепенно отклоняем самые сомнительные диагнозы и измеряем качество оставшихся. При таком построении хорошая оценка неопределенности должна в первую очередь детектировать ошибочные ответы. PRR сравнивает площадь под полученной кривой с площадями для случайной и идеальной оценки неопределенности. Для сравнения результат нормируется: ноль соответствует случайному ранжированию, единица — идеальному. При этом мы предполагаем, что наиболее важно рассматривать качество нашей оценки для первой половины примеров, отранжированных по неопределенности — поэтому PRR считается только до rejection rate, равного 0.5.

В таблице ниже приведено сравнение лучших методов из каждой группы на тесте для GigaChat-2-Max:

Таблица 1. Результаты лучших методов оценки неопределенности из каждой группы.

Eccentricity оказался лучшим среди методов, не требующих обучения; при этом медицинская модель сопоставления для него обучалась отдельно. Однако UHead с прокси‑моделью превзошел его на 0.153 по PRR@0.5 с p = 0.006 при парном bootstrap‑сравнении.

Также мы проводили отдельный эксперимент на открытой модели GigaChat-2-Lite с заменой универсальной модели сравнения на медицинскую. В этом эксперименте замена позволила повысить PRR@0.5 у Frequency Scoring с 0.366 до 0.631. Этот метод на основе сэмплирования оценивает, насколько другие генерации подтверждают или опровергают рассматриваемый диагноз.

Мы дополнительно проверили и прокси‑модели из других семейств. Для ответов Max UHead с Gemma-3-4B‑it получил 0.650, с Qwen-3-4B‑Instruct-2507 — 0.609. Оба результата выше 0.561, хотя лучшей прокси‑моделью в этом эксперименте осталась GigaChat-2-Lite из того же семейства, что и основная модель.

Как передать оценку уверенности врачу

Предыдущие результаты уже выглядят достаточно хорошо с точки зрения метрик; однако их нужно преобразовать в понятные значения для специалистов. Например, значение уверенности ответа 0.7 не несет осмысленной информации — непонятно, высокая ли это уверенность или нет, какое максимальное значение, и так далее. 

Для демонстрации оценок специалистам мы выбрали разбиение числовых значений на три уровня: низкую, среднюю и высокую уверенность. После этого мы подбирали пороги на отложенных 64 диалогах. 

На этой же выборке оценили два режима:

Таблица 2. Метрики выбора пороговых значений.

Ошибкой здесь считается несовпадение с экспертными гипотезами по Relaxed Exact Match. Первый режим выделяет меньше диагнозов, зато среди них выше доля ошибок. Второй охватывает почти все ошибки на этой выборке, но направляет на проверку и больше ответов, совпавших с экспертным диагнозом.

В итоге врач видит уровень уверенности у каждой гипотезы, как во вводном примере, и на его основе принимает решение о проверке. Мы интегрировали этот механизм в рассматриваемую диагностическую систему — в нашей конфигурации прокси‑модель с UHead добавляла менее 10% ко времени инференса основной модели и около 2% к задержке всего приложения.

Заключение: что осталось за пределами исследования

В итоге в наших экспериментах внутренние признаки открытой GigaChat-2-Lite позволили оценивать отдельные диагнозы закрытой GigaChat-2-Max. UHead с такой прокси‑моделью лучше других проверенных методов ранжировал сомнительные гипотезы. Медицинская модель сопоставления тоже оказалась полезна: от того, насколько точно она различает диагнозы, зависит качество ряда методов оценки неопределенности.

На той же выборке, на которой подбирались пороги для уверенности, мы попросили экспертов разобрать несовпадения с экспертными диагнозами. Этот дополнительный разбор помог увидеть часть причин несовпадений и проследить, какие уровни уверенности получили такие случаи. Например, к ним относятся недостаточный анамнез, разная детализация названий, правдоподобные альтернативы вне экспертного списка. Иногда модель добавляла уточнения, для которых в диалоге не было оснований. Однако эти наблюдения в большой степени объясняют отдельные случаи, а не закрывают все возможные источники неуверенность в данной задаче.

Также стоит отметить, что оценка неопределенности не восполняет отсутствующую информацию. При недостатке сведений даже высокая уверенность может сопровождать ошибочную гипотезу. Аналогично, даже формальное расхождение с экспертным диагнозом само по себе еще не доказывает, что предложенный диагноз клинически бессмысленен.