Как оценить надежность диагнозов LLM, если доступен только API
Привет! Меня зовут Глеб Кузьмин, я научный сотрудник лаборатории FusionBrain и занимаюсь методами оценки неопределенности для моделей машинного обучения. В этом тексте я хотел бы рассказать про нашу работу "Uncertainty Guardrails for LLM-Based Medical Diagnostic Systems", которая была представлена на Industry track EMNLP 2026, а на воркшопе UncertaiNLP 2026 получила Spotlight. В статье мы исследовали задачу оценки неопределенности ответов модели медицинской диагностики.
Конформные предсказания: интервалы с гарантией покрытия без предположений о распределении
Модель регрессии выдаёт число, модель классификации — вектор softmax-вероятностей, и оба молчат о том, насколько им можно верить на конкретном объекте. softmax-вероятность 0.9 не означает, что в 90% таких случаев ответ верен, а точечный прогноз цены ничего не говорит о том, в каком диапазоне реально лежит истина. Обычные способы добавить неопределённость опираются на предположения: доверительные интервалы линейной регрессии — на нормальность остатков, байесовские — на корректность априорных, bootstrap — на репрезентативность выборки.
