Разработчик Бенджи Смит провёл эксперимент с 37 500 запросами к пяти моделям Claude с одной задачей: выбрать случайное имя. Самый частый мужской ответ — Marcus, 23.6% от всех попыток. У женских имён фаворит — Amara, 14.3%. А Opus 4.5 при простом промпте возвращал «Marcus» в каждом из ~100 запросов подряд без единого отклонения. При том что каждый вызов API проходит заново через модель, без кеша.
Всего за эксперимент модели выдали 1 680 уникальных имён, но если измерить энтропию по Шеннону, реальный выбор эквивалентен ~137 именам. У Sonnet 4.5 ещё меньше — около 22. Разброс между моделями хорошо виден в таблице.
Смит попробовал помочь промптом: попросил модели «представить равномерное распределение имён из всех культур мира». Уникальных имён стало вдвое больше, но модели не стали случайнее — они стали «демонстративно разнообразнее». Вместо Marcus и James появились Ekundayo и Sigriður. При этом Sonnet 4.5 залип на «Amara» в 48% ответов — инструкция о равномерном распределении увеличила его уверенность, а не разнообразие.
У каждой модели при этом свой набор фаворитов. Они не сходятся друг с другом.
Что реально помогло — случайные английские слова перед запросом. Четыре слова вроде «year fire jacket suppose» давали больше разнообразия, чем 64 символа случайного шума. Модели умеют использовать знакомые токены для выхода на разные ветви генерации, а бессмысленный шум игнорируют.
Причина в том, как работают языковые модели: их задача выдать самое правдоподобное продолжение. С полным текстом исследования можно ознакомиться тут.
Друзья! Эту новость подготовила команда ТГК «AI for Devs» — канала, где мы рассказываем про AI-агентов, плагины для IDE, делимся практическими кейсами и свежими новостями из мира ИИ. Подписывайтесь, чтобы быть в курсе и ничего не упустить!
Автор: python_leader
