Исследование: обучение с помощью чат-ботов приводит к поверхностному усваиванию материалов

Исследователи Шири Мелумад и Джин Хо Юн в ходе нескольких экспериментов с участием более 10 тысяч человек выяснили ^[1], что обучение ^[2] с помощью ChatGPT и других чат-ботов приводит к тому, что материал усваивается более поверхностно.

Участников просили изучить определённую тему — например, как вырастить огород. Потом их случайным образом направляли либо к ChatGPT, либо к обычному поиску в Google. Далее испытуемый должен был написать совет «другу», основываясь на полученных знаниях.

Все эксперименты показали примерно одно и то же: участники, которые прибегали к помощи ИИ, чувствовали, что узнали меньше, тратили меньше усилий на последующее задание и писали советы, которые были короче, менее подробны и более общими. 

Кроме того, независимые читатели оценили такие советы как менее полезные и информативные.

Исследователи решили проверить, в чём кроется причина различий. Они давали один и тот же набор фактов — и в Google, и через ИИ — но те, кто получал готовые синтезированные ответы, демонстрировали более поверхностное понимание темы. Аналогичный тренд наблюдался при работе с поиском Google и его функцией AI Overview.

По мнению авторов, проблема заключается в усилиях, которые человек вынужден приложить при самостоятельном поиске информации. При обычном поиске ему приходится переходить по ссылкам, сравнивать источники, интерпретировать данные, что формирует более глубокие и прочные знания. Чат-боты же превращают этот процесс в пассивный.

Исследователи отметили, что речь не идет о необходимости отказаться от ИИ, так как модели полезны для быстрых и чётких ответов. Однако самостоятельная работа гораздо эффективнее тогда, когда цель — глубокое и обобщаемое знание.

Авторы также пытались понять, можно ли сделать обучение с ИИ более активным. Однако, даже когда ChatGPT показывал ссылки на источники вместе с ответами, участники почти никогда не переходили по ним.

Между тем исследователи Массачусетского университета обнаружили ^[3], что использование учителями чат-ботов для разработки планов уроков не делает учебный процесс более увлекательным, захватывающим или эффективным. Более того, выяснилось, что такие планы уроков не позволяют ученикам развивать критическое мышление ^[4].