ИИ смеётся, но не понимает: как LLM имитируют, а не распознают юмор и каламбуры

Новое исследование показывает, как языковые модели ловко имитируют понимание юмора ^[1], подменяя смысл статистикой, а иронию — вероятностью. Эксперты отмечают, что за внешней «остроумностью» скрывается отсутствие подлинного понимания — не только юмора, но и эмпатии, культурного контекста и человеческих нюансов. Искусственный интеллект ^[2] умеет находить закономерности, но не намерения. Он узнаёт структуру шутки — но не улавливает её смысл.

Комики, строящие выступления на игре слов, и авторы остроумных заголовков могут вздохнуть с облегчением — по крайней мере, пока. Новое исследование говорит о том, что искусственный интеллект всё ещё далёк от настоящего понимания юмора.

Учёные из Великобритании и Италии изучили, способны ли большие языковые модели (LLM) по-настоящему понимать каламбуры — и пришли к выводу, что нет.

Команда из Университета Кардиффа (Уэльс) и Университета Ка’ Фоскари в Венеции установила: LLM хорошо распознают структуру каламбура, но не понимают саму шутку.

Например, они тестировали фразу: “I used to be a comedian, but my life became a joke.” (Раньше я был комиком, но моя жизнь превратилась в шутку.)
Если заменить вторую часть на: “but my life became chaotic” (но моя жизнь стала хаотичной),
модели всё равно воспринимали предложение как каламбур.

Другое испытание: “Long fairy tales have a tendency to dragon.” (Длинные сказки склонны превращаться в дракона. — игра слов: dragon созвучно drag on — «затягиваться»)
Даже при замене слова dragon на prolong (затягиваться) или случайное слово, модели всё равно считали фразу игрой слов.

Профессор Хосе Камачо Кольядос ^[3] из школы компьютерных наук Университета Кардиффа отметил, что понимание юмора у моделей очень хрупкое.

«В целом, LLM склонны запоминать то, что они изучили в процессе обучения ^[4]. Они хорошо распознают существующие каламбуры, но это не означает, что они действительно понимают их», — пояснил он.

«Мы смогли последовательно обманывать модели, изменяя известные каламбуры и убирая двойной смысл. В таких случаях модели ассоциируют ^[5] предложение с ранее встречавшимися шутками и начинают придумывать причины, почему это каламбур. В итоге мы выяснили, что их понимание юмора — лишь иллюзия.»

Учёные заключили, что при столкновении с незнакомой игрой слов, способность моделей отличать каламбур от обычного предложения может падать до 20%.

Другой тестируемый каламбур: “Old LLMs never die, they just lose their attention.”
(Старые LLM никогда не умирают, они просто теряют внимание ^[6]. — игра слов с attention)

Если заменить attention на ukulele (укулеле), модели всё равно воспринимали фразу как игру слов, объясняя это тем, что ukulele якобы звучит как you-kill-LLM (вы убиваете LLM). Исследователи отметили, что это проявление креативности — но пониманием шутки это назвать нельзя.

Авторы исследования подчеркнули: эти результаты показывают, что при использовании LLM в задачах, связанных с юмором, эмпатией или культурными нюансами, следует проявлять осторожность.

Работа была представлена в начале этого месяца на Конференции по эмпирическим методам в обработке естественного языка (EMNLP 2025) в Сучжоу, Китай. Подробности изложены в статье под названием: Pun unintended: LLMs and the illusion of humor understanding  ^[7]

Источник: The Guardian ^[8]

Чтобы не пропустить анонс новых материалов подпишитесь на «Голос Технократии» ^[9] — мы регулярно рассказываем о новостях про AI, LLM и RAG, а также делимся полезными мастридами и актуальными событиями.