Почему галлюцинации ломают каждую LLM — и что с этим делать
ИИ повсюду. Но никто не знает, будет ли он работать завтра так же, как сегодня.ИИ захватил мир. Но есть проблема
Неудобные запросы для LLM: Как ложь может рассказать об истине?
Иногда, задавая нейронке один вопрос, неожиданно получаешь ответ на какой-нибудь другой, тоже интересный.
Ваше сознание вызывает галлюцинации, одновременно формируя ваше восприятие реальности
У вас сегодня были галлюцинации? Вы можете возразить, что у вас не только сегодня не было галлюцинаций, но и никогда в жизни их не было. На самом деле галлюцинации встречаются чаще, чем мы думаем, и они могут помочь нам больше узнать о работе мозга.
Представитель «Яндекса» объяснил галлюцинации в ответах ИИ-ассистента «Алисы»
Руководитель бизнес‑группы поисковых сервисов и искусственного интеллекта «Яндекса» Дмитрий Масюк рассказал РБК, что многие галлюцинации в ответах ИИ‑ассистента «Алисы» устраняются, но полностью их избежать не получится.Основные моменты из пояснения Масюка:проблемы с неточными ответами и «выдумками» нейросетей существуют, но каждый год они кратно сокращаются;стопроцентного отсутствия таких галлюцинаций не получится добиться никогда;
Все еще борешься с галлюцинациями? Ты просто не умеешь их использовать
Привет, Хабр! Меня зовут Василий Коновалов, я работаю в команде «Вычислительная семантика» в AIRI. Наша команда сфокусирована на исследовании галлюцинаций и на решении проблем доверительной генерации. Мы учимся находить галлюцинации и бороться с ними. Но, возможно, мы не всегда должны делать это. Тем более, что научные работы показывают, что галлюцинации неизбежны . Вместо этого мы извлекли из них пользу: мы применили галлюцинации больших мультимодальных моделей для детекции странных картинок — то есть картинок, противоречащих здравому смыслу.
Как жить с галлюцинациями ИИ
Эта небольшая статья попытка подытожить свой опыт работы с ИИ в части галлюцинаций.
Собираем систему мониторинга ответов LLM на коленке
Наверняка вы сталкивались с ситуациями, когда модель начинает вести себя в проде не так, как задумывалось: например, ведётся на провокации пользователя или даёт некорректные ответы. Зачастую такие ошибки безобидны, но случаются и не очень приятные ситуации. А если речь идёт о чат-боте, который отвечает на вопросы в юридической или медицинской сфере — практически любая ошибка может быть критичной. Итак, мы плавно подошли к тому, что нужно каким-то образом валидировать ответы LLM. Давайте разберёмся, как это делать.
Фантазии LLM воплощаются в реальности — фальшивые опенсорсные библиотеки
Использование галлюцинаций LLM для распространения вредоносного кода через опенсорсные репозитории
Не «ты — эксперт », а «думай так» — альтернативный промтинг для LLM
За последнее время большие языковые модели (LLM) стали привычным инструментом для анализа и работы с текстом. Но, что важно, качество ответа зависит не только от самой модели, но и от того, как именно задан запрос
