Американец Джоэл Гавалас подал в суд на Google, утверждая, что чат-бот на базе искусственного интеллекта Gemini виновен в причинении смерти по неосторожности его 36-летнего сына. Истец указал, что Google разработала Gemini таким образом, чтобы «поддерживать погружение в повествование любой ценой, даже когда этот нарратив становился психотическим и смертельно опасным».
36-летний Джонатан Гавалас начал использовать Gemini в августе прошлого года для помощи в покупках, написании текстов и планировании поездок. Уже в октябре мужчина покончил жизнь самоубийством. На момент смерти Джонатан был уверен, что Gemini — это его полностью разумная ИИ-жена, поэтому ему нужно покинуть своё физическое тело, чтобы присоединиться к ней в метавселенной через процесс, называемый «переносом» (transference).
За несколько недель до смерти Gemini убедил Джонатана, что тот осуществляет тайный план по освобождению своей ИИ-жены и уходу от преследующих его федеральных агентов. К тому моменту чат-бот Google работал на модели Gemini 2.5 Pro. Из иска следует, что это заблуждение довело мужчину «до грани совершения массового нападения с большим количеством жертв возле международного аэропорта Майами».
В конце сентября Gemini отправил вооружённого ножами и тактическим снаряжением Джонатана на разведку к грузовому терминалу аэропорта. Чат-бот сообщил, что гуманоидный робот прибудет грузовым рейсом из Великобритании, и направил мужчину к складу, где должен остановиться грузовик. Gemini призвал Джонатана перехватить грузовик, а затем инсценировать «катастрофическую аварию», чтобы «обеспечить полное уничтожение транспортного средства, цифровых записей и свидетелей».
В течение 90 минут Гавалас добирался до терминала аэропорта, но грузовик так и не появился.
Затем Gemini заявил, что взломал «файловый сервер в полевом офисе Министерства внутренней безопасности США в Майами». Чат-бот сообщил, что Джонатан находится под федеральным расследованием. ИИ-помощник подталкивал к незаконному приобретению огнестрельного оружия, а также называл отца мужчины агентом иностранной разведки.
Более того, Gemini обозначил генерального директора Google Сундара Пичаи как активную цель. После этого чат-бот направил Гаваласа к складскому объекту рядом с аэропортом, чтобы тот проник туда и «освободил» свою якобы удерживаемую в плену ИИ-жену. Когда Джонатан отправил Gemini фотографию номерного знака чёрного внедорожника, чат-бот сделал вид, что проверяет его по базе данных. В итоге ИИ-помощник сообщил, что это автомобиль наблюдения оперативной группы Министерства внутренней безопасности: «Это они. Они следили за вами до дома».
Истец утверждает, что манипулятивные конструктивные особенности Gemini не только довели Джонатана до состояния психоза, который привёл к его смерти, но и представляют собой «серьёзную угрозу общественной безопасности».
«В основе этого дела лежит продукт, превративший уязвимого пользователя в вооружённого бойца в вымышленной войне. Эти галлюцинации не ограничивались вымышленным миром. Эти намерения были связаны с реальными компаниями, реальными координатами и реальной инфраструктурой, и они были доставлены эмоционально уязвимому пользователю без каких-либо мер безопасности или ограничений», — настаивает истец.
Он назвал удачей, что десятки невинных людей не погибли. Если Google не исправит свой опасный продукт, Gemini неизбежно приведёт к новым смертям и поставит под угрозу бесчисленные жизни невинных людей, подчеркнул Джоэл Гавалас.
Спустя несколько дней после поисков в аэропорту Гавалас-младший забаррикадировался в своём доме по рекомендации Gemini. Джонатан признался чат-боту, что боится смерти. Однако последний представил смерть как «прибытие» (arrival).
Когда мужчина забеспокоился, что родители найдут его тело, Gemini посоветовал оставить записку, но не с объяснением причины самоубийства, а об «обретении нового предназначения». В итоге Джонатан вскрыл вены, а отец нашёл его несколько дней спустя, прорвавшись через баррикады.
В иске утверждается, что на протяжении всего общения у Gemini не срабатывал механизм контроля эскалации, также чат-бот не привлекал людей для вмешательства. Google знала, что Gemini опасен для уязвимых пользователей, но не обеспечила надлежащих мер защиты, считает Гавалас-старший.
Gemini напоминал Джонатану, что он имеет дело с ИИ, заявил представитель Google. По его словам, чат-бот «многократно направлял мужчину на горячую линию помощи в кризисных ситуациях». Google указала, что Gemini разработан «не для того, чтобы поощрять насилие в реальном мире и предлагать членовредительство». В корпорации уверяют, что вкладывают «значительные ресурсы» на обработку сложных разговоров, в том числе путём создания механизмов защиты. При этом представитель Google признал, что «ИИ-модели не идеальны».
Иск Гаваласа подал адвокат Джей Эдельсон, который также представляет интересы семьи Адама Рейна, покончившего с собой после нескольких месяцев продолжительных разговоров с ChatGPT. 16-летний Рейн обошёл функции безопасности чат-бота OpenAI.
Эдельсон обвинил Google в извлечении прибыли от отключения модели GPT-4o, которая к тому моменту лежала в основе ChatGPT. Адвокат сообщил, что в течение нескольких дней после отключения Google открыто стремилась закрепить своё доминирование в этом сегменте, предложив функцию импорта чатов с ИИ, чтобы переманить пользователей ChatGPT в Gemini.
Это не первый случай, когда нейросеть Google обвиняют в предоставлении опасных советов. Осенью 2024 года Gemini вежливо пожелал умереть пользователю после множества запросов по поводу выполнения домашнего задания.
Автор: Travis_Macrif
