Созданные с помощью ИИ выводы о событиях, свидетелем которых вы были лично, порождают в сознании ложные воспоминания. Точность воспоминаний о событии снижается вдвое. А ложные воспоминания внедряются даже если вас напрямую предупредят о том, что именно ИИ подводил итоги.
Привет, меня зовут Филипп, я психолог. Эта, и другие статьи – часть моих интересов к работе мозга и поведению человека. Статьи пишутся на основе достоверных научных исследований, ссылки на которые приводятся в материале.
Ключевые факты исследования
Для тех, кто не хочет читать материал и хочет узнать самую суть.
Высокий уровень упущений. В моделях мультимодального искусственного интеллекта для потребителей (включая ChatGPT и Gemini) автоматизированные отчеты на основе видеоматериалов упускали 51,6% ключевых событий. При этом в 95% случаев не упоминалось основное происшествие: наезд автомобиля на пешехода.
Точность воспроизведения информации снизилась вдвое. Участники, прочитавшие рапорт о событии, созданный человеком, правильно вспомнили ключевые детали сцены в 83,6% случаев. В сравнении с 44,8% тех, кто ознакомился с рапортом, созданным с помощью ИИ.
Предупреждения бесполезны. Пометка, что рапорт создан ИИ не защищает от искажения памяти. Участники впитали ошибки независимо от заявленной осведомленности об искусственном интеллекте или степени доверия к нему.
Источник: AI-Enabled Human Memory Manipulation: Misleading AI-Generated Summaries Distort Human Memory
Мы не обращаемся к событию, а перезаписываем его
От стенограмм корпоративных совещаний до протоколов на основе записей с нательных видеокамер полиции. Есть тренд на внедрение больших языковых моделей для сжатия длинных видео- и аудиопотоков в краткие итоговые сводки.
Но когнитивные психологи давно предупреждают, что наша память – это не архив записей в чертогах разума. Память – это податливый процесс, уязвимый для инъекций дезинформации, полученных после переживания события. Причем нечто подобное уже поднималось в исследованиях. А именно: написание текстов с использованием ИИ ненамеренно заражает авторов предвзятостями и идеями, которые ИИ может внедрять в текст.
Совместное исследование, проведенное учеными из Джорджтаунского и Вашингтонского университетов, показывает, что генеративный искусственный интеллект сильно искажает пережитые нами же воспоминания.
Упущение деталей – наибольшая ошибка при сжатии данных
Исследователи изучили два основных аспекта интеграции ИИ: базовую фактическую точность коммерческих моделей, обобщающих видеоматериалы, и последующие когнитивные последствия для наблюдателей-людей.
Тебе не нужно знать, кого сбила машина
Сначала исследователи протестировали ChatGPT от OpenAI и Gemini от Google на анимированных видеороликах с дорожно-транспортными происшествиями. Ролики были частью тестов для изучения достоверности показаний очевидцев.
В результате ИИ игнорировал ключевые события, допускал повторяющиеся галлюцинации и систематически упускал детали.
В среднем модели проигнорировали 51,6% ключевых событий на месте происшествия. В 95% протестированных вариантов инструменты опустили наиболее важную деталь, показанную на видео: столкновение автомобиля с пешеходом на переходе дороги.
Твоя память тебе не принадлежит. Заражение дезинформацией за 48 часов
Для количественной оценки последствий исследовательская группа привлекла 331 участника. Люди просматривали анимационные видеоролики, на которых красный автомобиль приближался к перекрестку, где стоял знак «Стоп» или знак «Уступите дорогу», а затем поворачивал и сбивал пешехода.
Через 24-48 часов участники ознакомились с кратким рапортом по инциденту. Некоторые группы получили фактически точные сведения, в то время как другие читали тексты, содержащие измененные и ошибочные детали. Кроме того, исследователи использовали только рапорты от ИИ, но помечали их или как «созданный ИИ» или «написанный человеком».
Как результат, 83,6% зрителей, прочитавших объективный рапорт, точно вспомнили события из ролика. Но если люди читали рапорт с ошибками от ИИ, то точность воспоминаний падала до 44,8%.
Человеческий фактор и маркировка «Создано ИИ»
Знание о том, что отчет был написан искусственным интеллектом, не обеспечивало никакой когнитивной защиты. Человек легко принимал ложные воспоминания независимо от своей веры в то, кто был автором отчета: человек или машина. Индивидуальный базовый уровень доверия и предварительная осведомленность об искусственном интеллекте также не защищали от когнитивных искажений.
Это разрушает распространенное административное предположение о том, что включение «человека в процесс» надежно защитит от галлюцинаций, вызываемых искусственным интеллектом.
В судебной и полицейской сферах сотрудник полиции или очевидец, просматривающий ошибочное, сгенерированное искусственным интеллектом краткое изложение инцидента перед составлением показаний, может непреднамеренно принять ИИ-галлюцинации за свои подлинные воспоминания.
В дальнейшем исследователи планируют перейти от анимированных роликов к реальным видеозаписям с нательных камер полицейских, чтобы составить карту того, как именно ИИ для создания кратких выводов меняет официальные отчеты и показания гражданских лиц в ходе судебных разбирательств.
Мнения и позиции соавторов исследования
Искусственный интеллект – это новый метод распространения дезинформации, и он потенциально может создавать ложные воспоминания у людей, которые безоговорочно доверяют этой информации. Я думаю, нам следует очень глубоко и критически задуматься о том, следует ли и как именно использовать ИИ для обобщения информации, особенно в ситуациях с высокими рисками.
Ведущий автор исследования Маттеа Сим, доцент-исследователь Института массовых данных в Школе государственной политики Маккорта при Джорджтаунском университете.
Меня поразило, насколько плохими были эти рапорты, даже на данном этапе развития ИИ. Я обеспокоен, что полицейские управления могут использовать технологии видео-рапортов без тщательного тестирования и без понимания того, насколько неточными могут быть итоги, созданные с помощью ИИ.
Соавтор исследования Яэль Эйгер, аспирантка Вашингтонского университета.
Это исследование – часть нового направления в Джорджтаунском университете. Суть его в изучении влияния и взаимосвязи между искусственным интеллектом и людьми, с опорой как на психологию, так и на информатику.
Соавтор исследования Йоши Коно, заведующий кафедрой компьютерных наук, этики и общества им. Макдевитта в Джорджтаунском университете.
Логично ожидать, что человек, который участвует в процессе, будет исправлять ошибки, и особенно ошибки ИИ. Наша работа показывает, что все наоборот. Это человеческая память искажается ошибками ИИ. ИИ потенциально способен генерировать дезинформацию, меняющую нашу память. И делать это даже при отсутствии каких-либо враждебных намерений.
Общий вывод авторов исследования.
Послесловие
Материал написан мною в свободное время и является адаптивным переводом оригинального исследования, ссылка на которое приведена в разделе «Ключевые факты». Работа мозга, модели интеллекта и психика человека были и остаются предметом моего любопытства.
Подобные переводы помогают лучше понимать, насколько гибким и пластичным остается наш разум. И как легко то, что казалось еще вчера незыблемым, может искажаться в ключе новой информации.
Искусственный интеллект, как по мне, был и остается инструментом. И попытка доверить ему свою же зону ответственности – вот истинный риск использования его огромного потенциала.
Вопросы по статье можете оставить в комментариях.
Автор: MisterClever
