Представитель «Яндекса» объяснил галлюцинации в ответах ИИ-ассистента «Алисы»
Руководитель бизнес‑группы поисковых сервисов и искусственного интеллекта «Яндекса» Дмитрий Масюк рассказал РБК, что многие галлюцинации в ответах ИИ‑ассистента «Алисы» устраняются, но полностью их избежать не получится.Основные моменты из пояснения Масюка:проблемы с неточными ответами и «выдумками» нейросетей существуют, но каждый год они кратно сокращаются;стопроцентного отсутствия таких галлюцинаций не получится добиться никогда;
Все еще борешься с галлюцинациями? Ты просто не умеешь их использовать
Привет, Хабр! Меня зовут Василий Коновалов, я работаю в команде «Вычислительная семантика» в AIRI. Наша команда сфокусирована на исследовании галлюцинаций и на решении проблем доверительной генерации. Мы учимся находить галлюцинации и бороться с ними. Но, возможно, мы не всегда должны делать это. Тем более, что научные работы показывают, что галлюцинации неизбежны . Вместо этого мы извлекли из них пользу: мы применили галлюцинации больших мультимодальных моделей для детекции странных картинок — то есть картинок, противоречащих здравому смыслу.
Как жить с галлюцинациями ИИ
Эта небольшая статья попытка подытожить свой опыт работы с ИИ в части галлюцинаций.
Собираем систему мониторинга ответов LLM на коленке
Наверняка вы сталкивались с ситуациями, когда модель начинает вести себя в проде не так, как задумывалось: например, ведётся на провокации пользователя или даёт некорректные ответы. Зачастую такие ошибки безобидны, но случаются и не очень приятные ситуации. А если речь идёт о чат-боте, который отвечает на вопросы в юридической или медицинской сфере — практически любая ошибка может быть критичной. Итак, мы плавно подошли к тому, что нужно каким-то образом валидировать ответы LLM. Давайте разберёмся, как это делать.
Фантазии LLM воплощаются в реальности — фальшивые опенсорсные библиотеки
Использование галлюцинаций LLM для распространения вредоносного кода через опенсорсные репозитории
Не «ты — эксперт », а «думай так» — альтернативный промтинг для LLM
За последнее время большие языковые модели (LLM) стали привычным инструментом для анализа и работы с текстом. Но, что важно, качество ответа зависит не только от самой модели, но и от того, как именно задан запрос
OpenAI и Anthropic объединяются для исследований в области галлюцинаций и джейлбрейкинга
OpenAI и Anthropic, два крупнейших соперника в сфере искусственного интеллекта, недавно
Галлюцинации и многообразия. Зачем искусственному интеллекту многомерные миры
Сейчас на Хабре много пишут о галлюцинировании нейронных сетей и больших языковых моделей в частности. Хорошим введением в эту тему, написанным с философских позиций, мне представляется текст уважаемого Дэна Рычковского @DZRobo «Когда ИИ закрывает глаза: путешествие между воображением и галлюцинациями». Базовое техническое погружение в тему вы найдёте в статье уважаемой @toppal «Причины возникновения галлюцинаций LLM», это перевод академической статьи
«Тупой ИИ» с нами надолго. Почему в новых моделях больше галлюцинаций
В последние несколько месяцев ведущие модели обновились с функцией «рассуждений» (reasoning). Предполагалось, что качество ответов улучшится. Но последующие тесты показали, что уровень галлюцинаций сильно вырос. И это не какая-то случайная недоработка разработчиков, а фундаментальное свойство. Сейчас становится очевидным, что от галлюцинаций мы не избавимся никогда.
