Пользователь раскрыл, что его компания три месяца живёт по аналитическим данным, которые придумал ИИ

Пользователь выяснил ^[1], что его компания три месяца жила по данным, которые придумал ИИ. С конца прошлого года руководство принимало решения, исходя из галлюцинаций нейросети. Всё началось с того, что аналитика заменили на ИИ-агента, которые начал сам собирать все нужные данные, рисовал красивые графики и объяснял руководству тренды. Но есть один маленький нюанс: всё это на основе выдуманных данных. Цифры ИИ брал из неправильных периодов, путал продукты, а иногда просто придумывал различные значения в отчётной статистике. Когда пользователь заметил ошибки ^[2] ИИ, то ему сказали, что всё в порядке и не нужно замедлять инновации.

Мы только что узнали, что наш ИИ три месяца выдумывал аналитические данные, и меня сейчас стошнит.

Итак, с ноября мы использовали ИИ-агента для ответов на вопросы руководства о показателях. Сначала это казалось потрясающим: быстрые ответы, подробные объяснения, всем это нравилось.

Но я только что узнал, что всё это время он галлюцинировал цифры.

Наш вице-президент по продажам принимал решения по территориям на основе данных, которых не существовало. Наш финансовый директор показал совету директоров презентацию с фальшивыми выводами. ИИ просто выдумывал правдоподобно звучащие проценты.

Я обнаружил это случайно, когда меня попросили что-то перепроверить. Я начал копать, и, чёрт возьми, это ужасно.

Цифры иногда были из неправильных периодов времени, иногда путали продукты, а иногда были просто полностью выдуманы. Но он объяснял всё настолько уверенно, что никто не задавал вопросов.

Теперь нам придётся пересматривать каждое решение за 4 квартал. В дело вмешался юрист. Людей могут уволить.

Хуже всего то, что я выразил обеспокоенность по поводу необходимости использования ИИ с ноября, а мне сказали, что я замедляю инновации.

Скажите, кто-нибудь ещё сталкивался с этим? Как вообще можно решить подобную проблему?

Я в панике.

В комментариях на Reddit по этой ситуации пользователю посоветовали сохранить всю переписку и выясненные расхождения. Там пояснили, что ИИ в компании не был связан с реальными данными, в просто автозаполнял их. Компании нужно было полноценное программное обеспечение для бизнес-аналитики, такое как Domo или Power BI, где функции ИИ используют реальные базы данных, а также можно проверять запросы и ответы вручную с логами.