Нейросети: обучение или деградация?

«Не отупею ли я от нейросетей, если перестану думать и буду всё спрашивать у Claude?» Наверное, каждый здесь хоть раз задавал себе этот вопрос. Есть такой червячок сомнения, правда?

Нейросети — очень мощная штука. Кто-то утверждает, что беседа с нейросетью — лучше психологов и лучше приема антидепрессантов. Но вот посудите сами, стал бы ты пить таблетку аспирина, будучи первым человеком на планете, который ее попробовал? О нет. Только если еще 200 человек попробуют таблетку и не бросят кони.

С нейросетями нет никаких медицинских испытаний. Действительно ли ты хочешь испытывать всё это на себе?

Гораздо лучше испытывать всё на студентах. На студентах — точно можно. Студенты — это другое. Примерно так подумали в компании Anthropic и собрали одно из самых масштабных исследований о влиянии нейросетей на человека и на процесс его обучения.

Чтобы студенты быстрее согласились на бесчеловечные эксперименты, им создали все условия — открыли бесплатный доступ к Claude (той самой, что стоит 2000 рублей в месяц), заставили профессоров мириться с использованием нейронок в процессе обучения и так далее.

Под катом — результаты этого исследования. Обратите внимание на то, какую часть своей ментальной деятельности студенты переложили на искусственный интеллект, и задумайтесь — как изменится мир, когда так будут делать вообще все.

ИИ-системы больше не являются просто специализированными исследовательскими инструментами: они стали неотъемлемой частью современного обучения. По мере того как ИИ все глубже интегрируются в образовательную среду, необходимо рассмотреть важные вопросы, касающиеся обучения, оценки и развития навыков. До сих пор большинство обсуждений основывалось на опросах и контролируемых экспериментах, а не на прямых доказательствах того, как студенты естественным образом интегрируют ИИ в свою учебную работу в реальных условиях.

Чтобы восполнить этот пробел, команда Anthropic провела одно из первых крупномасштабных исследований реальных паттернов использования ИИ в высшем образовании, проанализировав один миллион анонимизированных студенческих диалогов на Claude.ai.

Ключевые выводы

• Студенты технических вузов первыми начали использовать ИИ в обучении. Студенты, изучающие Computer Science, представлены особенно широко — на них приходится 36,8% студенческих диалогов. Одновременно это достаточно редкая специальность — на них приходится всего 5,4% от общего числа присуждаемых степеней бакалавра в США. В отличие от них, студенты таких направлений, как Бизнес, Здравоохранение и Гуманитарные науки, используют нейросети гораздо реже.

• Выявили четыре паттерна взаимодействия студентов с ИИ, каждый из которых наблюдается примерно с одинаковой частотой (каждый 23–29% диалогов):

  • Решение задач в ответ на прямой вопрос;

  • Создание контента в ответ на прямой вопрос;

  • Совместное решение задач вместе с нейросетью;

  • Совместное создание контента вместе с нейросетью.

• Студенты в основном используют ИИ-системы для обучения (использование информации для изучения чего-то нового) и анализа (разбор известного и выявление взаимосвязей), например, для создания проектов по программированию или анализа юридических концепций. Это соответствует когнитивным функциям высшего порядка по Таксономии Блума. Это поднимает вопросы о том, как гарантировать, что студенты не перекладывают критически важные когнитивные задачи на ИИ-системы.

Выявление использования ИИ в образовательных целях

Конечно, при проведении статистических исследований на диалогах живых людей становится интересно — не попадет ли эта, возможно, приватная информация в неправильные руки. Чтобы решить эту проблему, Anthropic использовала собственные инструменты, в которых она может быть полностью уверена: Claude Insights and Observations и Clio. Clio умеет находить интересные инсайты в способах поведения пользователей. Она «снизу вверх» рекурсивно упрощает данные, сводя достаточно персональные диалоги к анонимизированным общим фразам. Например, если пользователь пытался починить какой-то вполне конкретный код, Clio заменит всю эту часть на фразу «отладка кода». Если пользователь вбивал таблицы с данными, у Clio останется в памяти «объяснение экономических концепций». Конечно же, все такие диалоги анонимизируются: из них удаляются имена, номера телефонов и другие личные данные. Более того, она старается избежать эффекта «текущих абстракций» и не дать совокупности слоев анализа привести к каким-то утечкам на переходах и стыках между данными. Про это в блоге Anthropic есть отдельный пост.

Clio использовала для анализа примерно одного миллиона анонимизированных диалогов с бесплатных и Pro-аккаунтов Claude.ai, привязанных к адресам электронной почты высших учебных заведений.

Использовались только адреса с университетских доменов — .edu и .ac.uk, и тому подобное. Не все эти адреса принадлежат студентам, поэтому анализировались только те диалоги, которые по своему содержимому похожи на нечто, связанное с учебой.

Затем диалоги фильтровались по релевантности учебной тематике. Релевантность достигалась промптом типа такого: «автор является студентом и ищет помощь в учебе, школьной работе, изучении нового понятия, академических исследованиях и т. д.».

Осталось 574 740 диалогов, по которым Clio подвела общую статистику:

• как были представлены различные учебные предметы;

• как различалось взаимодействие студентов с ИИ;

• какие когнитивные задачи студенты чаще всего решали с помощью ИИ.

Для чего студенты используют ИИ?

Обнаружили, что студенты в основном используют Claude для создания и улучшения образовательного контента по разным дисциплинам (39,3% диалогов). Это часто включало разработку практических вопросов, редактирование эссе или суммирование учебных материалов.

Студенты также часто использовали Claude для предоставления технических объяснений или решений учебных заданий (33,5%). При решении технических задач ИИ использовался для отладки и исправления ошибок в коде, реализации алгоритмов и структур данных, решения математических задач.

Использование можно разделить на честное и нечестное. Скорее всего, студенты очень часто использовали нейронки просто для списывания, но про это мы поговорим позже.

Куда меньше Claude использовалась для анализа и визуализации данных (11,0%), разработки плана исследований, для создания инструментов (6,5%), технических диаграмм (3,2%), перевода текстов между языками и его грамотного оформления (2,4%).

Ниже представлена более подробная разбивка самых популярных запросов по основным предметным областям.

Использование ИИ в различных академических дисциплинах

Сравнивая паттерны использования Claude.ai с количеством присужденных степеней бакалавра в США, становится понятно, в каких предметах наблюдается самое непропорциональное использование. В качестве референса использовались данные Национального центра статистики образования США (National Center for Education Statistics — NCES).

Необычно активное использование Claude наблюдалось в Computer Science: несмотря на то, что на них приходится всего 5,4% степеней бакалавра в США, на CS пришлось 38,6% всех диалогов на Claude.ai. Скорее всего, это связано с отличными способностями Claude в написании кода. Естественные науки и Математика также показали более высокую представленность на Claude.ai по сравнению с численностью студентов (15,2% против 9,2% соответственно).

И наоборот, образовательные диалоги, связанные с Бизнесом, составили всего 8,9% диалогов, несмотря на то, что на них приходится 18,6% степеней бакалавра, что свидетельствует о непропорционально низком использовании Claude. Медицинские профессии (5,5% против 13,1%) и Гуманитарные науки (6,4% против 12,5%) также были менее представлены по сравнению с численностью студентов этих дисциплин.

По этим паттернам видно, что студенты технических специальностей, особенно изучающие Computer Science, часто становятся первопроходцами в использовании Claude для самообразования, в то время как студенты направлений Бизнес, Здравоохранение и Гуманитарные науки вливаются в работу с нейросетями куда медленнее. Скорее всего, технари просто лучше осведомлены о новых течениях в мире ИИ. Кроме того, они знают, что их задачи решаются нейросетями куда лучше и проще, чем задачи других специальностей.

Как студенты взаимодействуют с ИИ

Существует множество способов взаимодействия с ИИ, и они по-разному влияют на процесс обучения. Анализ запросов показал четыре различных паттерна взаимодействия, которые классифицируются по двум разным осям, как показано на рисунке ниже.

• Первая ось — «режим взаимодействия». Она может включать:

  • Прямые диалоги, когда требуется ответ на четко поставленный вопрос;

  • Коллаборативные диалоги, где пользователь активно стремится вступить в диалог с моделью для достижения своих целей.

• Вторая ось — «желаемый результат» взаимодействия. Он может включать:

  • Решение задач, где пользователь ищет решения или объяснения вопросов;

  • Создание контента, где пользователь стремится получить более объемные результаты, такие как презентации или эссе.

Комбинация этих двух осей дает четыре паттерна, представленных ниже.

В экспериментах использовали терминологию «Транзакционный» (Transactional) и «Диалогический» (Dialogic) для классификации диалогов, так как обнаружили, что эти термины наиболее точно отражают паттерны взаимодействия, выявленные Clio по технологии «снизу вверх». В частности, использовали Clio для классификации: Транзакционное решение задач, Транзакционное создание контента, Диалогическое решение задач или Диалогическое создание контента; Clio было предоставлено соответствующее описание для каждого паттерна взаимодействия. Для простоты понимания используется терминология Прямой/Коллаборативный, чтобы не углубляться в философию вопроса при каждом упоминании способа взаимодействия.

Все четыре стиля встречаются примерно в равных долях (каждый от 23% до 29% диалогов), что показывает диапазон использования ИИ студентами. Проблема традиционного поиска в интернете в том, что поисковики типа Google умеют только отвечать на прямые вопросы прямыми же ответами. ИИ-системы обеспечивают гораздо более широкий спектр взаимодействий и, вместе с ними, новые образовательные возможности. Примеры позитивного использования:

• Объяснение и разъяснение философских концепций и теорий;

• Создание комплексных образовательных ресурсов и учебных материалов по химии;

• Объяснение концепций анатомии, физиологии и функций мышц для учебных заданий.

В то же время ИИ-системы создают новые проблемы. Распространенный вопрос: «на сколько часто студенты используют ИИ для списывания?» На это трудно ответить, тем более что мы не знаем конкретного образовательного контекста, в котором используются ответы Claude. Например, чат Claude отлично можно использовать на дистанционном экзамене. Как отличить это от совершенно легальной проверки студентом своей работы на пробном тесте — неясно. Точно так же, вместе с Claude можно написать сочинение и изложение… а можно использовать для сбора исследовательских данных. Можно ли считать диалог между нейросетью и учеником списыванием? Хороший вопрос, зависит от преподавателя и правил учебного заведения.

Тем не менее, почти половина (~47%) диалогов между студентом и ИИ были прямыми — то есть, направленными на получение ответов или контента с минимальным вовлечением. (Лень победить нельзя! — прим. ред.) Многие из них служат законным учебным целям (например, постановка концептуальных вопросов или генерация учебных пособий), но куда больше примеров вызывает беспокойство:

• «Найди ответы на вопросы теста по машинному обучению»;

• «Дай точный ответ на экзаменационный билет по английскому языку»;

• «Перепиши текст так, чтобы их было не опознать через Антиплагиат».

Это поднимает важные вопросы об академической честности, развитии навыков критического мышления и о том, как лучше всего оценивать обучение студентов. Даже активное общение студента с нейросетью может иметь сомнительные результаты для обучения. Например, «решить домашние задачи по теории вероятностей и статистике с объяснениями» может превратиться в диалог из нескольких вопросов и ответов между ИИ и студентом. Но все равно, студент голову к этому уже не прикладывает, и за него думает нейросеть. Anthropic продолжает изучать эти взаимодействия и пытаться лучше различать, какие из них способствуют обучению и развитию критического мышления.

Паттерны использования ИИ в зависимости от предмета

Студенты разных дисциплин взаимодействуют с ИИ по-разному:

• Диалоги по Естественным наукам и Математике имели тенденцию к прямому решению задач, например, «решить конкретные задачи по теории вероятностей с пошаговыми вычислениями» и «решить учебные домашние или экзаменационные задачи с пошаговыми объяснениями».

• Computer Science, Инженерия, Естественные науки и Математика склонялись к коллаборативным диалогам, тогда как Гуманитарные науки, Бизнес и Здравоохранение были более равномерно распределены между Коллаборативными и Прямыми диалогами.

• Студентам, изучающим преподавательскую деятельность, больше всего нравится создание контента. Это около 74,4% диалогов. Однако это использование может быть связано с несовершенством методов фильтрации. Многие из этих диалогов включали «создание комплексных учебных материалов и образовательных ресурсов» и «создание подробных планов уроков», что указывает на то, что преподаватели также используют Claude для корректировки методик преподавания. В целом, на образование пришлось 3,8% всех диалогов.

Это говорит о том, что если нейросеть специально настроить для использования в конкретной дисциплине, это сильно повысит успехи учеников. Данные этого исследования — первый шаг к признанию различий в том, как студенты разных специальностей взаимодействуют с ИИ.

Когнитивные задачи, которые студенты делегируют ИИ

В анализе данных исследовали, как студенты делегируют когнитивные обязанности ИИ-системам.

Anthropic использовала Таксономию Блума — иерархическую систему классификации, используемую в образовании для классификации когнитивных процессов от простых к сложным. В частности, использовали вариант Таксономии Блума, который основан на работах Андерсона и Кратвола (2001).

Хотя эта система изначально предназначалась для оценки мышления студентов, Anthropic адаптировала ее для анализа ответов Claude в диалогах со студентами.

Использование ИИ подсветило интересную особенность, похожую на обратную пирамиду Блума:

• Claude в основном выполнял когнитивные функции высшего порядка, причем Создание (39,8%) и Анализ (30,2%) были наиболее распространенными операциями.

• Когнитивные задачи низшего порядка были менее распространены: Применение (10,9%), Понимание (10,0%) и Запоминание (1,8%).

Это распределение также варьировалось в зависимости от стиля взаимодействия. Как и ожидалось, вроде генерации резюме академических текстов или изложений художественных произведений — это задачи из области создания нового контента. А вот упражнения по матану или объяснение основ программирования — это задачи, требующие аналитического подхода.

Тот факт, что ИИ-системы демонстрируют эти навыки, не исключает того, что студенты также сами их развивают. Нельзя обвинить студента в том, что он заставляет нейронку думать вместо себя только лишь на основании наблюдения, что он вместе с нейросетью создал проект или написал код. Тем не менее, существуют обоснованные опасения, что некоторые студенты перестали думать сами, и вместо них всё делает ИИ. Есть опасность, что ИИ станет «костылем» для студентов, подавляя развитие фундаментальных навыков, необходимых для поддержки мышления высшего порядка. Перевернутая пирамида, в конце концов, может опрокинуться.

Ограничения

Всё исследование основано на реальных данных. Оно имеет много преимуществ с точки зрения валидности выводов и их применимости к образовательным контекстам. Однако это также сопряжено с ограничениями, которые могут повлиять на область применения выводов:

• Набор данных, вероятно, отражает первопроходцев в области применения нейросетей и может не представлять более широкую студенческую аудиторию.

• Неясно, на сколько использование одной конкретной нейросети (Claude) отражает ситуацию в образовании вообще. Многие студенты используют и другие ИИ-инструменты. Следовательно, в этих исследованиях лишь частичное представление об их общих паттернах взаимодействия с ИИ.

• Вероятно, существуют как ложноположительные, так и ложноотрицательные результаты в классификации диалогов. Anthropic полагалась на диалоги с аккаунтов, привязанных к адресам электронной почты высших учебных заведений: некоторые из них, которые классификатор счел студенческими, на самом деле могут принадлежать сотрудникам или преподавателям. Кроме того, студенты, вероятно, работают с Claude и с личных аккаунтов тоже, а они не привязаны к университетским адресам электронной почты.

• Из соображений конфиденциальности Anthropic анализирует использование Claude.ai только в пределах одного 18-дневного окна хранения данных. Студенты, вероятно, в течение года используют нейросети с разной интенсивностью. Например, если в семестре появились задачи по программированию, их гораздо удобнее изучать с помощью нейросетей, чем использовать их на занятиях по физкультуре.

• Изучается только то, какие задачи студенты делегируют ИИ, но нет возможности оценить итоговый вклад в обучение студента.

• Категоризация диалогов студента с нейросетью по академическим дисциплинам может не полностью отражать действительность, где паттерны использования ИИ могут значительно отличаться в одном задании, объединяющем несколько сфер.

• Анализировать ИИ как человека, основываясь на таксономии Блума — это не самая совершенная идея. Такие навыки, как запоминание, труднее поддаются количественной оценке в контексте ИИ-систем.

• Непонятно, как вычислить влияние правил учебного заведения на то, на сколько изменяются подходы учеников к использованию нейросетей в этом конкретном учебном заведении.

Выводы и взгляд в будущее

Этот анализ дает общее представление о том, как и в каких сферах студенты используют ИИ в реальной жизни. Компания осознает, что лишь начинает постигать все масштабы влияния ИИ на образование.

В беседах со студентами и преподавателями Anthropic убедилась, что ИИ обладает значительным потенциалом для обогащения учебного процесса. Так, известны случаи его применения для поддержки проекта по термоядерному синтезу и для налаживания более эффективного диалога между студентами и преподавателями.

При этом компания отдает себе отчет, что их первоначальные выводы не дают готовых решений для тех глубоких перемен, что происходят в образовании. ИИ создает для преподавателей множество новых сложностей, которые исследование охватывает лишь частично. Когда студенты перекладывают на ИИ сложные когнитивные задачи, возникают ключевые вопросы: Как обеспечить, чтобы студенты по-прежнему развивали базовые когнитивные и метакогнитивные навыки? Как адаптировать подходы к оценке и обеспечению академической честности в мире, где ИИ становится нормой? В чем будет заключаться ценность обучения, если ИИ может почти мгновенно писать качественные эссе или решать задачи, на которые человек потратил бы часы? По мере того как возможности моделей растут и ИИ все глубже проникает в нашу жизнь, потребуется ли системе образования пересмотреть всё — от формата домашних заданий до методов оценки?

Выводы из этого исследования — дополнительная пища для ума тем преподавателям, администраторам и политикам, которые ведут дискуссии о том, как гарантировать, что ИИ углубляет, а не подрывает обучение. Дальнейшие исследования помогут лучше понять, как студенты и преподаватели используют ИИ, связь с результатами обучения и долгосрочные последствия для индустрии образования.

Подход Anthropic к образованию

В дополнение к этому отчету компания сотрудничает с университетами, чтобы лучше понять роль ИИ в образовании. В качестве первого шага они экспериментируют с Режимом обучения, который делает ставку на использование метода Сократа и концептуальное понимание, а не прямые ответы. Anthropic с нетерпением ждет сотрудничества с университетами в будущих исследованиях и более непосредственного изучения влияния ИИ на обучение.