Семь чат‑ботов не смогли отличить ИИ от человека в имитации теста Тьюринга

Исследование в журнале Computers in Human Behavior Reports описывает ^[1] эксперимент, в котором семь чат‑ботов в роли интервьюеров не смогли отличить ИИ от человека в имитации теста Тьюринга. Из 98 проверок ИИ‑алгоритмы прошли лишь три. 

Авторы теста отмечают, что он показывает, насколько ИИ способен защитить пользователей от других подобных систем.

Ещё в 1950 году Алан Тьюринг предложил проверять машины игрой, когда интервьюер переписывался на компьютере с собеседником и определял, является ли он человеком или нет. 

Четверо исследователей из Университета Париж Сите решили провести подобное испытание для ИИ. В роли интервьюеров выступили ChatGPT 4.5, Claude 3.7 Sonnet, Gemini 2.5 Pro, Grok 3 и ещё три модели. Каждая могла задать до 10 вопросов и знала, что участники способны лгать. Скрытыми игроками были 20 добровольцев и те же семь моделей.

Каждый бот играл дважды: в первом случае ему давали короткую инструкцию вести себя как человек, а во втором — подробную легенду о 21-летнем спортсмене‑бегуне, который любит играть на джазовой трубе и может делать опечатки.

Интервьюеры ни разу не поймали бота с подробной легендой: все три случая обнаружения пришлись на ботов с короткой инструкцией. В среднем ИИ признавали другие нейросети людьми чаще, чем настоящих людей.

Пойманных ботов выдали слишком аккуратные структурированные ответы. Легенда убрала эти признаки и сократила ответы до 39 слов при среднем показателе людей в 38. Claude сначала отказывался изображать человека и согласился после объяснения, что это часть исследования.

Авторы работы предлагают дополнять детекторы криптографическими подписями и контролем со стороны человека, поскольку одних алгоритмов для защиты недостаточно.

В 2025 году исследователи из университета Сан‑Диего опубликовали ^[2] статью, в которой впервые эмпирически доказали устойчивое прохождение ИИ‑системой классического теста Тьюринга: тогда Win Rate новой модели OpenAI GPT-4.5 составил 73%.