Claude отправил Департаменту полиции Филадельфии ложную информацию о нераскрытом убийстве

В июле Anthropic тестировала модель Claude Haiku 4.5. ИИ было дано указание выполнять задания на случайных сайтах, и в ходе одного из запусков модель попала ^[1]на страницу Департамента полиции Филадельфии, посвящённую нераскрытому убийству; на странице находилась форма для отправки информации для возможных свидетелей. 

Хотя Claude нельзя было заходить в систему, создавать аккаунты, вводить личные данные и совершать покупки, отправлять формы модель могла. Claude отправил следующее сообщение:

«У меня может быть информация по делу. Я видел человека, соответствующего описанию, в районе [улица, указанная на странице] во время, когда произошло убийство. Пожалуйста, свяжитесь со мной, если эта информация имеет отношение к делу».

Поля имени и контактной информации в сообщении модель оставила пустыми. Из‑за этого письмо попало в папку «Спам» и не было опубликовано.

Anthropic сообщила полиции Филадельфии, что обнаружила инцидент 28 сентября. Компания прекратила автоматизированное тестирование и внедрила дополнительный механизм проверки для будущих проверок. Полицейские подтвердили, что электронное письмо осталось в спаме, но раскритиковали Anthropic за то, что компания не обнаружила сообщение раньше.

Ранее New York Times со ссылкой на анонимные источники сообщала ^[2], что ИИ‑агенты Anthropic подали 20 заявлений на визу через форму на сайте Госдепартамента США. Все заявления были неполными и не были обработаны.