Какие ответы LLM стоит перепроверять? Как мы искали ошибки в ответах модели по logprobs
Привет, Хабр!Меня зовут Лёша, я разработчик из команды перспективных технологий Центра развития искусственного интеллекта СПАО «Ингосстрах». Мы занимаемся интеллектуальной обработкой документов (Intelligent Document Processing, IDP) и для извлечения структурированных данных из входящих документов используем мультимодальные LLM, минуя отдельный этап распознавания текста (OCR).
Как принудительно привязать ИИ к фактам и убить галлюцинации
Привет, Хабр! Меня зовут Андрей Бирюков. Я — независимый эксперт в области ИТ и ИБ, преподаю в учебных центрах и пишу статьи и книги.Если вы ловите себя на мысли: «Мне нравится ответ ИИ, но я всё равно должен перепроверить каждый абзац» — значит, вы используете его как генератор красивых слов, а не как инструмент. Галлюцинации возникают не потому, что ИИ глупый. Они возникают потому, что архитектура генерации текста (авторегрессия) подталкивает модель выбирать статистически вероятное следующее слово, а не фактически верное.
