Олимпиады — всё?

Думаю, что среди читательской аудитории Хабра много бывших (а возможно, и действующих) олимпиадников, поэтому решил поделиться с сообществом наблюдениями и размышлениями об актуальных проблемах олимпиадного движения в стране. Коротко о том, какое я имею отношение к олимпиадному движению и почему считаю себя в праве публично высказываться на эту тему: я сам бывший олимпиадник (призёр Всероса по информатике), 15 лет веду кружки по информатике и программированию и, в том числе, готовлю школьников к выступлению на олимпиадах, среди моих учеников призёры Всероса по информатике, ВКОШП и других олимпиад по информатике и программированию, кроме того вот уже 10-ый год подряд я участвую в подготовке и проведении школьного и муниципального этапа ВсОШ по информатике в своём регионе.

Позавчера после опубликования результатов муниципального этапа по ^[1] информатике этого года мама одного из участников прислала мне сообщение: “Я хочу сказать вам спасибо за дисквалы. Потому что списывание достигло какого-то маразма. И по другим предметам вообще ничего не боятся и ничего не стесняются“. Речь идёт о том, что мы дисквалифицировали большое количество участников муниципального этапа за списывание друг у друга и за использование искусственного интеллекта ^[2] при решении задач. В олимпиадах по информатике всё, что делает участник, фиксируется в тестирующей системе, и мы, жюри, имеем возможность анализировать это и на основании определённых критериев делать вывод о несамостоятельности выполнения работы. В силу специфики профессии мы, информатики, во-первых, имеем технические возможности бороться со списыванием, а, во-вторых, воспринимаем сложившуюся ситуацию как некий вызов, которому интересно попытаться что-то противопоставить. Но ситуация постепенно ухудшается. Ниже статистика дисквалификаций на муниципальном этапе ВсОШ по информатике по 9-11 классам по нашему региону:

• В топ-20 дисквалификаций: 3 = 15% (в прошлом году было 4 = 20%)

• В топ-50 дисквалификаций: 17 = 34% (было 12 = 24%)

• В топ-100 дисквалификаций: 30 = 30% (было 30 = 30%)

• В топ-150 дисквалификаций: 45 = 30% (было 46 = 31%)

Вроде бы примерно одинаково год к году, но в этом году мы предприняли ряд технических мер: потребовали вести запись экрана на точках проведения и убрали условия в электронном виде из тестирующей системы – всем раздали только бумажные условия, с которых, по нашему мнению, должно быть существенно сложнее скопировать и передать информацию сервису искусственного интеллекта, если только не пользоваться телефоном с фотоаппаратом, что, мы надеемся, должно жестко пресекаться. А это всё не помогло.

Пока мы ещё можем глазами отличить самостоятельную работу школьника от выполненной при помощи ИИ. Но ИИ совершенствуется, и школьники набираются опыта ^[3] в его использовании. Возможно, скоро это станет делать существенно сложнее. Мы в свою очередь продумываем, какие ещё технические средства противодействия можно разработать и внедрить, но успех не гарантирован. И это речь об информатике – предмете, в котором, как я уже сказал, есть возможности развивать эти самые технические средства. И есть желание это делать у людей, занимающихся олимпиадами по информатике. По другим предметам всё существенно хуже: масштаб нечестно выполненных работ огромен, а противодействия никакого нет. Это приводит в частности к тому, что достойные честные дети оказываются за бортом следующих этапов ВсОШ, а большая часть мест заполняется списывальщиками. Это фактически убивает Всероссийскую олимпиаду школьников.

ИИ создал новую реальность в образовании, но неправильно было бы сказать, что проблема именно в ИИ – он просто создал условия, в которых существовавшие проблемы гипертрофировались. Корень проблем, конечно, не в техническом прогрессе.

У меня перед глазами картина проведения муниципального этапа олимпиады в огромном регионе нашей страны, состоящем из нескольких десятков муниципалитетов. Отчётливо видно, что:

• в муниципалитете, в котором традиционно собирают всех в одной точке проведения и максимально ответственно относятся к выполнению всех требований к проведению олимпиады, в частности в части фильтрации интернета, нет ни одного списывания или использования ИИ;

• в муниципалитете, в котором муниципальный координатор даже забыл точкам проведения логины участников разослать, в результате чего они потом ко мне напрямую обращались во время тура, чтобы я прислал им логины, имело место тотальное списывание – дисквалифицирован абсолютно весь топ участников вплоть до балла, на котором мы уже не проверяем на списывание (участников с низкими баллами тяжело проверять на использование ИИ из-за малого количество отправленных решений).

Я делаю вывод (да и не только я, но и большинство моих коллег), что проблема носит организационный характер. Причина ясна: у школ нет ни ресурсов, ни мотивации ^[4] качественно нести огромную нагрузку по проведению олимпиад. С другой стороны популярность олимпиад растёт, желающих участвовать становится всё больше и больше, да и от тех же школ требуют максимальной вовлечённости школьников в олимпиады (я сначала написал “в олимпиадное движение”, потом удалил и написал “в олимпиады” – потому что ни о какой вовлечённости именно в олимпиадное движение с его кружками, сборами, летними школами, различными турнирами речи не идёт). А организационные проблемы очень трудно решить техническими средствами – поэтому, думается, кризис будет усугубляться.

Эволюция ^[5] системы этапов ВсОШ привела к фактическому исчезновению школьного этапа ВсОШ. Школьный этап превратился в домашний этап по многим предметам (в частности по математике ^[6] и по информатике): детям домой раздают логины и пароли от тестирующей системы в интернете, и они могут в течение всего дня в удобное для них время из дома написать олимпиаду. Задания у всех или одинаковые (как по информатике), или почти одинаковые (как по математике). Причём по многим предметам это задания в форме тестов (в частности по математике, там есть ещё вопросы к качеству самих заданий, но это отдельная тема). Можете представить себе насколько коррелируют результаты такого теста по математике, выполненного из дома, с математическими способностями и знаниями ребёнка. Конечно же, не коррелируют вообще никак.

Как следствие эта же эволюция привела к превращению муниципального этапа в школьный: поскольку выявляющая функция такого школьного этапа нулевая, то приходится приглашать почти всех участников школьного этапа на муниципальный этап (кроме, возможно, тех кто писал самостоятельно и получил не очень высокие баллы), и собрать их всех в одной школе города, как было раньше, возможности нет. Поэтому муниципальный этап пишут в своей школе. Качество контроля честности написания с учётом того, что бедные школы должны провести огромное количество олимпиад за первые три месяца учебного года, не располагая в достаточном количестве ни людскими, ни аудиторными ресурсами, чаще всего низкое. Как следствие корреляция итогового рейтинга с реальными способностями и знаниями детей снова получается крайне низкой.

Со всем этим можно было бы попытаться что-то сделать. Как минимум вернуть школьный этап в школы. Отменить бессмысленную разнарядку на вовлечение максимального количества школьников в участие в олимпиадах и перестать учитывать эти показатели в каких-либо рейтингах школ. Может быть даже реформировать какие-то этапы ВсОШ – например, что-то сделать со школьным этапом такое, чтобы он и массовым оставался, и был лишён описанных недостатков. Непонятно, можно этого добиться или нет, но главное, что не видно никакого обсуждения этого.

Если ничего этого не делать, мы потеряем одно из самых прекрасных детищ нашей старой советской системы образования – Всероссийскую олимпиаду школьников. Мы уже начинаем её терять. Мы, информатики, свою олимпиаду будем пытаться спасать всеми силами – и в основном это будем делать за счёт технических средств. Что из этого получится – пока не очень понятно, но у олимпиад по другим предметам этих перспектив, скорее всего, нет. Нужны серьёзные организационные решения.