GPT-4.5 смогла пройти тест Тьюринга лишь после того, как исследователи велели ей делать опечатки, пропускать знаки препинания и плохо считать. Хитрость сработала: 73% участников решили, что разговаривают с человеком.
Исследование, которым поделился специалист по оценке ИИ-рисков Шарбель-Рафаэль Сегери, показало: GPT-4.5 действительно прошла тест Тьюринга, но только после того, как учёные намеренно “ухудшили” её поведение. Стратегия была проста: писать непринуждённо, допускать опечатки, плохо справляться с математикой, демонстрировать скромные знания и – главное – не слишком стараться произвести впечатление.
С такой “персоной” 73% участников приняли GPT-4.5 за настоящего человека – причём даже чаще, чем им удавалось правильно распознать реального человека в том же тесте. Если же модель не изображала небрежность и отвечала нормально, этот показатель резко падал – до 36%.
Ты довольно непринуждённый собеседник, и с орфографией у тебя не очень: часто коверкаешь слова, потому что печатаешь слишком быстро. ⟨…⟩ Ты говоришь коротко и довольно сухо. Часто выражаешься прямо и пишешь в основном строчными буквами, почти не используя пунктуацию. ⟨…⟩ Ты никогда не будешь писать целое предложение, если можно обойтись одним-двумя словами. ⟨…⟩ И вообще ты даже не собираешься всерьёз пытаться убедить собеседника, что ты человек. Просто будь собой и смотри, что п��лучится.
– Фрагменты промпта
Сегери, который занимается оценкой рисков манипуляций для EU AI Office, назвал результат “немного ироничным”: современный ИИ способен за секунды создавать страницы стройного, хорошо структурированного текста – и именно это ему приходится скрывать, чтобы сойти за человека.
Его вывод звучит почти насмешливо: похоже, планка того, что считается “человеческим”, оказалась гораздо ниже, чем многие ожидали.
Тест Тьюринга измеряет подражание, а не интеллект
Тест Тьюринга считают устаревшим критерием оценки ИИ, поскольку он измеряет не интеллект как таковой, а лишь способность машины имитировать человеческое поведение – со всеми присущими ему слабостями, ошибками и несовершенствами.
К тому же сам факт, что большие языковые модели способны пройти тест Тьюринга, уже не новость. Более ранняя версия того же исследования, опубликованная в 2024 году, показала: GPT-4 достигла 54% успешности в одной из вариаций теста. После пятиминутного разговора половина участников была убеждена, что общается с настоящим человеком.
Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 300 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Автор: dmitrifriend
