- BrainTools - https://www.braintools.ru -
Искусственный интеллект [1] может казаться чуть ли не сверхразумом, ведь он обрабатывает тонны данных и выдает, как думают многие, истину в последней инстанции. На самом деле большие языковые модели, такие как ChatGPT, страдают от тех же когнитивных искажений, что и мы с вами: они самоуверенны, предвзяты и цепляются за знакомые шаблоны. Почему ИИ, созданный быть рациональным, так похож на нас в своих ошибках? И что это значит для бизнеса, медицины или управления умным городом? Давайте посмотрим недавнее исследование ученых и попробуем разобраться.

Ученые из Университета Огайо и их коллеги решили проверить [2], насколько ИИ рационален. Они протестировали популярные языковые модели, такие как ChatGPT и Llama, на серии задач — но не машинных, а тех, что дают возможность выявить когнитивные искажения у людей. Задания включали оценку вероятностей событий в условиях неопределенности, принятие финансовых решений и анализ последовательностей данных.
Для чистоты эксперимента модели получали задачи в текстовом формате, имитирующем реальные сценарии, например прогнозирование спроса на продукт или оценку риска инвестиций. Итог оказался [3] неожиданным: ИИ продемонстрировал 18 когнитивных искажений, которые мы обычно ассоциируем с человеческим мышлением [4].
Какие распространенные проблемы были выявлены у ИИ:
Сверхуверенность (overconfidence bias): модели часто переоценивали точность своих прогнозов, даже если данные были недостаточными или противоречивыми. Например, при попытке предсказать продажи ИИ мог с высокой уверенностью показать вероятный рост, игнорируя нестабильность рынка.
Эффект «горячей руки» (hot-hand fallacy): ИИ ошибочно считал, что удачное событие (например, серия успешных сделок) обязательно продолжится, хотя последовательность была случайной.
Предвзятость (confirmation bias): модели склонялись к выбору информации, подтверждающей их первоначальные выводы, и игнорировали противоречия. Например, при анализе медицинских данных ИИ может зациклиться на распространенном диагнозе, упуская редкие, но вероятные варианты.
Якорный эффект (anchoring bias): ИИ слишком сильно полагался на первую полученную информацию. В финансовых задачах модель могла завышать или занижать прогнозы, ориентируясь на начальную цифру, даже если она была случайной.
Склонность к избеганию риска (risk aversion): в задачах с неопределенностью ИИ чаще выбирал безопасные, но менее выгодные варианты, упуская возможности с высоким потенциалом.
Иллюзия контроля (illusion of control): модели порой вели себя так, как будто могут влиять на случайные события, переоценивая свои возможности в условиях неопределенности.
Эффект статус-кво (status quo bias): ИИ предпочитал сохранять существующие решения, даже если изменения сулили лучшие результаты.
Методика исследования была построена так, чтобы максимально исключить влияние человеческого фактора. Ученые использовали стандартизированные тесты, которые применяются в психологии для выявления когнитивных искажений людей. Например, в одной из задач ИИ предлагали оценить, продолжится ли выигрышная серия в спортивной игре, основываясь на случайных данных. В другой — выбрать инвестиционный портфель, где якорный эффект мог исказить решение из-за предложенной «базовой» суммы. Результаты показали, что искажения не были случайными: они систематически проявлялись в разных моделях и сценариях.
Чтобы понять, почему ИИ повторяет человеческие ошибки [7], нужно заглянуть под капот самой технологии. Большие языковые модели обучаются на огромных массивах текстов — от книг и статей до постов в соцсетях. Эти данные созданы людьми, а значит, в них встречаются наши предубеждения, стереотипы и иррациональные решения. Если в текстах, на которых учится ИИ, много примеров самоуверенных прогнозов или веры в «полосы удачи», модель перенимает эти шаблоны.
Но дело не только в данных. Архитектура самих моделей тоже играет [2] роль. Например, трансформеры, а это основа большинства современных ИИ, склонны усиливать часто встречающиеся паттерны. Это значит, что популярные человеческие заблуждения, вроде веры в то, что «все будет как раньше», закрепляются в поведении [8] модели. Плюс разработчики часто делают ИИ «человекоподобным» — чтобы его ответы звучали естественно и убедительно. Ирония в том, что эта человечность и делает ИИ уязвимым к тем же ошибкам, которые мы совершаем.
Есть и еще один нюанс — обратная связь [9]. Когда ИИ тестируют, его ответы оценивают люди. Если модель выдает что-то слишком необычное или противоречащее нашим ожиданиям, это часто воспринимается как ошибка. В итоге ИИ подстраивается под человеческие шаблоны мышления, даже если они далеки от истины. Получается замкнутый круг: мы создаем ИИ по своему образу и подобию, а потом удивляемся, что он повторяет наши промахи.
Когнитивные искажения ИИ — не просто академический курьез. Представьте: алгоритм прогнозирует спрос для крупной компании, но из-за эффекта «горячей руки» переоценивает продажи нового продукта. Итог — склады забиты, а бюджет трещит. Ошибки в таких сценариях могут стоить миллионов долларов США.
Риск в том, что ИИ могут воспринимать как некую всеведущую и объективную сущность. Люди склонны доверять алгоритмам больше, чем собственным суждениям. Если модель выдает ошибочный прогноз с уверенностью, мало кто будет его перепроверять. А ведь в финансовых системах неверное решение одного алгоритма может запустить цепную реакцию [10], как это было во время «флэш-крэша» на биржах.
Еще одна проблема — социальные последствия. Если ИИ, обученный на текстах из интернета, начинает воспроизводить стереотипы или предубеждения, это может усиливать неравенство. Например, алгоритмы для найма сотрудников ловили [11] на том, что они отдают предпочтение мужчинам, потому что база обучения [12] ИИ содержала соответствующие данные.
Можно ли что-то сделать с проблемой, описанной выше? Да. Ученые и инженеры уже работают над этим, и тут есть несколько подходов. Первый — улучшение данных. Если убрать из обучающих наборов тексты, которые пропитаны предубеждениями, или сбалансировать их, ИИ будет меньше склоняться к стереотипам. Правда, легче сказать, чем сделать: данные в интернете — хаотичная смесь, и чистить их вручную почти нереально.
Второй подход — настройка архитектуры моделей. Например, можно добавить механизмы, заставляющие ИИ перепроверять свои выводы или учитывать альтернативные гипотезы. Это как встроить в алгоритм скептика, который всегда задает вопрос: «А что, если ты ошибаешься?». Такие методы уже тестируются, но они требуют огромных вычислительных ресурсов, и пока это делает их недоступными для большинства разработчиков.
Третий путь — прозрачность. Если ИИ будет объяснять, почему он принял то или иное решение, пользователи смогут заметить его ошибки. Сейчас многие модели работают как черный ящик: вы задаете вопрос, получаете ответ, но как он родился — загадка. Разработка «объяснимого ИИ» (Explainable AI) может помочь людям лучше понимать, где алгоритм мог сбиться с пути.
Наконец, важен контроль. Даже самый умный ИИ не должен быть последней инстанцией. В критических областях, вроде медицины или правосудия, решения алгоритмов нужно перепроверять. А еще нужны новые стандарты и сертификация ИИ для определенных задач.
Что в итоге? Важно понимать, что искусственный интеллект — не магический оракул, а обычный инструмент. Понимание его слабостей — первый шаг к их исправлению. Думаю, в ближайшие годы мы увидим прогресс в создании более устойчивых и прозрачных моделей, которые смогут минимизировать человеческие ошибки, а не копировать их.
Автор: Michail_Stepnov
Источник [13]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/15223
URLs in this post:
[1] интеллект: http://www.braintools.ru/article/7605
[2] решили проверить: https://www.livescience.com/technology/artificial-intelligence/ai-is-just-as-overconfident-and-biased-as-humans-can-be-study-shows
[3] оказался: https://pubsonline.informs.org/doi/full/10.1287/msom.2023.0279
[4] мышлением: http://www.braintools.ru/thinking
[5] Источник: https://science.mail.ru/news/1719-ii-predvzyat-kak-chelovek/
[6] Источник: https://unsplash.com/
[7] ошибки: http://www.braintools.ru/article/4192
[8] поведении: http://www.braintools.ru/article/9372
[9] обратная связь: https://neurosciencenews.com/ai-human-thinking-28535/
[10] реакцию: http://www.braintools.ru/article/1549
[11] ловили: https://www.aclu.org/news/womens-rights/why-amazons-automated-hiring-tool-discriminated-against
[12] обучения: http://www.braintools.ru/article/5125
[13] Источник: https://habr.com/ru/companies/ru_mts/articles/909634/?utm_campaign=909634&utm_source=habrahabr&utm_medium=rss
Нажмите здесь для печати.