Действительно ли ChatGPT сделал студентов глупее? Разбираемся в исследовании MIT

По новостным лентам только что отгремели вести о препринте ^[1] исследования MIT Media Lab на тему влияния ChatGPT на человеческий мозг ^[2]. Во многих публикациях рассказывается в первую очередь о негативном влиянии ИИ на когнитивные способности исследуемых, но опускается финальная часть исследования, в которой даются рекомендации, как правильно использовать искусственный интеллект ^[3]. Давайте исправим этот недостаток.

Исследование длилось 4 месяца, в нем приняли участие 54 студента, которых разделили на три группы: 1) использовавшие ChatGPT; 2) использовавшие только веб-поиск; 3) полагавшиеся только на свои знания. За время исследования провели четыре сессии: три основных и одну прекрестную, в ходе которых участники писали эссе на одну из заданных тем, пока их мозговая активность непрерывно регистрировалась высокоплотной ЭЭГ-системой.

На прекрестной сессии позже остановимся отдельно, пока же напомню, что в основных сессиях те, кто пользовался ChatGPT в 83% случаев не могли процитировать свое эссе сразу после написания. К поздним сессиям качество их эссе росло, но в группе с ChatGPT тексты становились все более шаблонными и однотипными. ЭЭГ ^[4] этой группы показало сокращение нейронных связей на 47%. В группе тех, кто пользовался поиском, результаты были значительно лучше, но лидерами стали те, кто писал эссе польностью самостоятельно.

Пугающие факты, но давайте перейдем к прекрестной сессии. На ней тех, кто пользовался ChatGPT попросили выбрать одну из старых тем эссе и написать вручную. А тех, кто писал только своей головой —  попросили написать эссе с помощью ИИ. Первая группа справилась с заданием хуже, чем те, кто вообще не использовал ИИ: исследователи называют это “когнитивным долгом” —  мозг уже привык полагаться на ChatGPT и ленился работать самостоятельно.

А вот в группе, кто сначала работал самостоятельно, а потом получил доступ к ChatGPT, были показаны отличные результаты как в написании эссе так и в плане ЭЭГ-активности. Участники этой группы использовали ИИ скорее как редактора: они сначала готовили черновик своими силами, а к ChatGPT прибегали для поиска информации, оценки идей и логики, обсуждения альтернатив, а также финальной вычитки. Как результат, в эссе повысились грамматика и структурная четкость, а время написания сократилось на 25%. Единственный негативный момент в этой группе – самооценка “это мой текст” упала на 30%. В MIT Media Lab рекомендуют использовать ИИ именно таким образом: начинать с написания черновика, затем подключать ИИ, а в тех случаях, когда нейросеть генерирует значительную часть текста —  обязательно пересказывать его своими словами.

P.S. Поддержать меня можно подпиской на телеграм-канал “сбежавшая нейросеть ^[5]“, где я рассказываю про ИИ с творческой точки зрения ^[6].