Учимся отличать галлюцинации от плохого контекста
Привет, Хабр!Меня зовут Андрей Бирюков. Я — независимый эксперт в области ИТ и ИБ, преподаю в учебных центрах и пишу статьи и книги.Когда RAG-система выдаёт утверждение, которого нет в источниках, мы обычно называем это «галлюцинацией». Но очень часто за этим симптомом скрываются принципиально разные сбои, и путать их означает лечить не ту болезнь.Модель, к примеру, могла проигнорировать релевантный контекст или не получить его вовсе. А могла сгенерировать ответ из параметрической памяти и задним числом подобрать «подходящую» цитату.
