Как принудительно привязать ИИ к фактам и убить галлюцинации
Привет, Хабр! Меня зовут Андрей Бирюков. Я — независимый эксперт в области ИТ и ИБ, преподаю в учебных центрах и пишу статьи и книги.Если вы ловите себя на мысли: «Мне нравится ответ ИИ, но я всё равно должен перепроверить каждый абзац» — значит, вы используете его как генератор красивых слов, а не как инструмент. Галлюцинации возникают не потому, что ИИ глупый. Они возникают потому, что архитектура генерации текста (авторегрессия) подталкивает модель выбирать статистически вероятное следующее слово, а не фактически верное.
Сикофантия? Или ускорение динамического пересчета определителя от O(n³) до O(n)?
Всем привет. Хотел бы поделиться своими результатами и обратиться за ответным мнением.
В США судья отменила разбирательство и отстранила всех адвокатов обеих сторон из-за использования ИИ
Суд в американском штате Миссисипи отстранил от разбирательства адвокатов обеих сторон из-за подозрений в использовании искусственного интеллекта для аргументации друг против друга. Судья Шарион Эйкок написала, что адвокаты потратили время суда впустую, поскольку они просто брали ответы ИИ и использовали их в суде без проверки.
Как я осваивал LLM: взгляд старого зануды со своего чердака
В наше время продвинутых информационных технологий уже никого не удивишь ни дипфейками, ни искусственным интеллектом. ИИ есть почти у каждого в виде бота или приложения. С ним советуются, ему отправляют поисковые запросы, с ним ведут задушевные беседы.
Когда нейросети перестанут галлюцинировать? И почему на «что за дичь» они несут ещё большую дичь?
Каждый, кто работал с большими языковыми моделями (LLM), знает эту боль. Ты задаёшь вопрос. Бот выдаёт уверенный, красивый, но абсолютно ложный ответ. Ты пишешь: «Что за дичь ты несёшь?» Бот извиняется: «Вы абсолютно правы, вот исправленный вариант». И выдаёт ещё большую дичь, чем в первый раз. Прямо как студент на экзамене.Сегодня разбираемся, почему так происходит, и когда это наконец починят. Спойлер: не скоро и не полностью.Анатомия "галлюцинации"Начнём с выдуманного примера классического диалога:Пользователь:Кто написал роман «Солярис» в 1972 году?ИИ:
Снятся ли искусственному интеллекту цифровые овцы?
Когда-то в далеком 1968 году Филип К. Дик задавался вопросом: «Мечтают ли андроиды об электрических овцах?» Способны ли машины переживать, желать и видеть сны? Хоть сегодняшние «андроиды» и несколько иные, чем в произведении, вопрос до сих остается актуальным. Только слегка сместился фокус: не «мечтают ли», а «снятся ли им цифровые овцы»? Существует ли у нейросетей аналог фазы медленного сна, перерабатывают ли они данные «во сне» и, главное, способны ли «видеть сны»?
Эффект «галлюцинаций»: когда ИИ врет уверенным голосом
Статья подготовлена в рамках курса «Машинное обучение для начинающих».Недавно в «беседе» с умной колонкой я задал ей вопрос относительно исполнителя одной музыкальной композиции. Колонка уверенно ответила, однако, так как у меня были сомнения в правильности, я переспросил ее и на этот раз она назвала другое имя. Также, при работе с различными языковыми моделями мне приходилось неоднократно сталкиваться с ситуациями, когда, к примеру, нейросеть неверно указывала нормативные документы, статьи законов и так далее
Клинический профиль Gemini: синдром дефицита внимания, пикацизм и психопатия по Ганнушкину
Gemini (Google)
Успешный экспорт бага: взгляд клинициста на галлюцинации ИИ
Народ выдает массовую острую реакцию на галлюцинации нейросетей. Выкатывают разработчикам претензии: «нейронка врет и игнорирует контекст!». Инженеры сначала пытались вяло отбиваться классическим: GIGO и RTFM. Но недовольство потребителя растет. Пошли биться над проблемой. Начали вкручивать RAG. Инженеры полагают, что галлюцинации — это математический баг. Они исходят из того, что в идеале машина должна работать как мышление у психически сохранного человека, а не как у шизофреника.
