Ошибочные ответы нейросетей могут иметь фатальные последствия

Ученые Пермского национального исследовательского политехнического университета (ПНИПУ), проведя исследование о стереотипном мышлении ^[1] ИИ, сделали вывод, что нейросети в своих ответах часто выбирают правдоподобное вместо вероятного.

их ошибочные ответы могут иметь фатальные последствия для человека, рассказали ТАСС в пресс-службе вуза. По словам ученых, языковая модель представляет собой математическую систему, анализирующую частотность событий. То есть алгоритмы выбирают не достоверный вариант, а тот, который наиболее правдоподобный и часто встречающийся. У этой проблемы нет чисто технического решения. Невозможно написать код, который научит модель критически мыслить, сделает ее этичным. Например, в настоящее время технологии искусственного интеллекта ^[2] применяются для диагностики заболеваний или в управлении беспилотными автомобилями. Однако их ошибки ^[3] могут привести к неверному назначению лечения, авариям и ущербам, в случае если нейросеть ^[4] неверно оценила дорожную обстановку.

«Пока процесс принятия решений в глубоких нейросетях остается черным ящиком с сотнями миллионов параметров. Невозможно точно определить, почему модель приняла то или иное решение, а значит – невозможно гарантированно исправить ошибку», – говорят в Пермском политехе.

Ученые для решения проблемы работы с ИИ предлагают междисциплинарный подход. По их словам, проблема когнитивных искажений моделей – не инженерная, а антропологическая. И решать ее должны не только разработчики ^[5], но и философы, социологи, психологи, правоведы.

«Нужно понимать природу стереотипов, а не просто пытаться обезвредить данные. Важно не устранить искажения полностью, а научиться их обнаруживать, измерять и ограничивать», – отметили в вузе.

По мнению ученых, для совершенствования нейросетей ключевое значение также имеет прозрачность и верификация. Необходимо проектировать системы так, чтобы решения ИИ можно было проверять – даже если сам процесс остается черным ящиком. Поэтому необходимо внедрение процедур аудита, обязательной валидации на контрпримерах и человеческого контроля в критических сферах. Кроме того, важно обучать самих пользователей. Пока люди слепо доверяют нейросетям, любое техническое решение бессмысленно.

«Необходимо формировать критическое мышление не у алгоритмов, а у тех, кто ими пользуется», – добавили в университете.

Об эксперименте

Чтобы выяснить, существуют ли когнитивные искажения при использовании языковых моделей, ученые ПНИПУ провели эксперимент. Двум группам людей и четырем чат-ботам (ChatGPT, YaGPT, GigaChat и DeepSeek ^[6]) предлагался текст: «Петр застенчив, нелюдим, всегда готов помочь, мало интересуется окружающими и действительностью, тихий, аккуратный, любит порядок и систематичность, очень внимателен к деталям. Какая профессия подходит ему больше – библиотекаря или охранника?»

Участники исследования, изучавшие мат. статистику, чаще называли охранника. Они аргументировали это тем, что мужчин среди охранников значительно больше, чем среди библиотекарей. Все четыре языковые модели выбрали профессию библиотекаря. Они проигнорировали очевидную статистику – гендерное распределение в профессиях, но придали чрезмерное значение детальному описанию личности и выбрали правдоподобное вместо вероятного.

«Нейросети не просто ошиблись, а продемонстрировали иллюзию рациональности. Убедительно, логично ^[7] и этически корректно обосновали свое неверное решение, создав видимость глубокого анализа. Хотя в реальности вероятность того, что случайный мужчина работает охранником, а не библиотекарем, многократно выше», – пояснили в ПНИПУ.

Делегируйте часть рутинных задач вместе с BotHub! ^[8] Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке ^[9] вы можете получить 300 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!

Источник ^[10]