Классификация галлюцинаций LLM | «Врага нужно знать в лицо»
Дисклеймер: В этой статье я систематизировал ключевые фундаментальные предпосылки / причины галлюцинаций, постарался объяснить их природу и предложил архитектурные подходы к их предупреждению / устранению.Для кого будет эта статья полезна:Если вы изучаете LLM и хотите лучше понимать «как ее обуздать?», то внимательное изучение этой статьи позволит вам стать своеобразным «терапевтом» для нейросетей. Системный подход к присущим им болезням дает осознание, что многие из них лечатся просто «чистоплотностью промптинга и окружения».
LLM под капотом. Модель выдумала телефон доверия — чиним архитектурой, не промптом
Девушка пересылает боту переписку с бойфрендом. Модель видит сигналы опасности (эмоциональное насилие, изоляция) и отвечает номером телефона доверия. Заботливо. Ответственно. Одна проблема: это детская горячая линия. Модель галлюцинировала контакт кризисной помощи.В промпте написано «НЕ придумывай контактные данные». Не помогает. Желание быть полезной в модели сильнее любой инструкции. Это не проблема промптинга. Это проблема архитектуры.Ловушка одного прохода
Я не программист. Я два месяца учил нейросеть не подлизывать
Я не айтишник. Я технарь. Пять лет отслужил по контракту, после - вахты. В минус шестьдесят четыре чинил подъёмник каротажной станции, отогревал дизель пушкой, получал ожоги о холодный металл. На вахтах во время актировок начал ковырять Unreal Engine 5 - чтобы время убить. Домой привёз не только больную спину, которая ссыпается осколками позвонков в трусы, но и хобби.Нейросети я начал использовать в декабре 2025-го, когда понял, что с движком один не справлюсь. И первое, что меня взбесило - не галлюцинации. К вранью я привык, люди тоже врут. Взбесило другое.
Галлюцинации LLM — это артефакты сжатия. И это объясняет вообще всё
Представьте, что вам дают 10 терабайт текста и говорят запихнуть это в файл на 70 гигабайт. Да так, чтобы потом по любому вопросу можно было восстановить нужный кусок. Не точно, но близко, и не побайтово, но чтобы по смыслу билось.Вы бы сказали: «так это же lossy-компрессия, часть данных неизбежно потеряется».И были бы правы, потому что именно это делает LLM.Предсказание = сжатие (и это не метафора)Тут нужно кое-что объяснить, и это самое важное в статье.Клод Шеннон доказал в 1948 году: предсказание следующего символа и сжатие данных — математически одно и то же
Я задал очень простой вопрос, но 76% ИИ-моделей мне соврали
Один простой вопрос. Девять уверенных ответов. Восемь из них — ложьДва слова. Пустой системный промпт. Ноль контекста.Я отправил 29 крупнейшим языковым моделям одно сообщение: current date
Не убивайте интернет: почему нам нужен ИИ, но не так, как мы его используем
Сейчас много людей говорят о том, что пузырь нейросетей вот-вот лопнет, что это чуть ли не самое бесполезное изобретение человечества, которое ни на что не способно.Я считаю иначе. Все эти заявления разбиваются о простые рассуждения и примеры, которые почему-то часто игнорируют. Я даже не боюсь тотальной замены людей нейросетями: настолько сильный рост экономической эффективности может подарить нам колоссальное количество свободного времени и новых возможностей.(Статья написана мной и была орфографически проверена, стилизована, с добавлением источников через DeepSeek, если потребуется изначальный текст - скину)
