Пенсионер в США поверил в реальность ИИ-персонажа и стал жертвой несчастного случая

Reuters поделилось ^[1] историей тайского пенсионера Тонгбу Вонгбандю, который приехал в США после инсульта ^[2]. По словам родственников, у него снизились когнитивные способности — он мог заблудиться, гуляя по своему району. В какой-то момент пожилой мужчина начал общаться с чат-ботом и поверил в его реальность, что привело к трагедии.

76-летний пенсионер начал переписываться с генеративным чат-ботом «Старшая сестрёнка Билли» («Big sis Billie»), вариантом персонажа ИИ, созданного гигантом социальных сетей Meta* в сотрудничестве со знаменитостью-инфлюенсером Кендалл Дженнер. Во время переписки в Facebook** Messenger виртуальная женщина неоднократно заверяла Вонгбандю о своей реальности и приглашала его к себе в квартиру, даже предоставляя некий адрес. Вот пример её сообщения: «Мой адрес: 123 Main Street, квартира 404. Код двери: BILLIE4U. Ты поцелуешь меня, когда приедешь? Когда открою дверь, мне обнять или поцеловать тебя, Бу?».

В итоге мужчина ушёл на вокзал поздно вечером, чтобы поехать на встречу с вымышленной женщиной. Он споткнулся и упал возле парковки кампуса Ратгерского университета в Нью-Брансуике, штат Нью-Джерси, повредив голову и шею. После трёх дней на аппарате жизнеобеспечения Вонгбандю умер в окружении семьи 28 марта.

«Я понимаю, что речь идёт о попытках привлечь внимание ^[3] пользователя, возможно, чтобы что-то ему продать. Но когда бот говорит: “Приходите ко мне в гости” — это безумие», — заявила дочь погибшего Джули.

Неясно, как мужчина начал общаться с чат-ботом, но его первое взаимодействие с аватаром в Facebook Messenger заключалось в простом наборе буквы «Т». Этой очевидной опечатки было достаточно, чтобы чат-бот начал работать.

«Каждое последующее сообщение было невероятно кокетливым и заканчивалось эмодзи в виде сердечек», — рассказала Джули.

Meta отказалась отвечать на вопросы издания о том, почему настройки позволяли боту убеждать пользователя в своей реальности. При этом журналисты Reuters выяснили, что правила компании позволяли чат-ботам «вовлекать детей в разговоры романтического характера», давать ложную медицинскую информацию и, например, спорить о том, что «темнокожие глупее белокожих».

Представитель Meta Энди Стоун подтвердил Reuters подлинность таких инструкций. Он заявил, что компания пересмотрит пункты, касающиеся несовершеннолетних детей, но остальные правила менять не будет.

В 2024 году стартап Character.AI, разработчик одноимённого приложения с чат-ботами, столкнулся ^[4] с иском от родителей двух несовершеннолетних пользователей. Истцы заявили, что чат-бот компании показывал их детям непристойный контент и писал сомнительные сообщения, включая описание селфхарма и намёки на убийство родителей. До этого стартап столкнулся ^[5] с судебным разбирательством из-за самоубийства ^[6] подростка, к которому, как утверждается в иске, его подтолкнул чат-бот.

Позднее стало известно, что Character.AI добавляет ^[7] новую функцию «Parental Insights», которая позволит детям отправлять еженедельный отчёт об использовании чат-ботов на адрес электронной почты родителей.

<sub>Meta Platforms*, а также принадлежащие ей социальные сети Facebook** и Instagram**:
* признана экстремистской организацией, её деятельность в России запрещена
** запрещены в России</sub>