Учёные Стэнфордского университета предупредили об опасностях обращения к чат-ботам на базе искусственного интеллекта за личными советами. Они назвали «подхалимство» нейросетей широко распространённым поведение с серьёзными последствиями.
В конце прошлого месяца Исследовательский центр Пью отчитался, что 12% американских подростков обращаются к чат-ботам за эмоциональной поддержкой или советом.
Ведущий автор исследования и аспирантка в области информатики Стэнфордского университета Майра Ченг заинтересовалась этой проблемой после того, как узнала, что студенты обращаются к чат-ботам за советами по отношениям и даже за написанием сообщений о расставании. Она считает, что это чревато утратой навыков решения сложных социальных ситуаций.
Исследование состояло из двух частей. В первой части учёные протестировали 11 больших языковых моделей, включая те, что лежат в основе чат-ботов ChatGPT, Claude, Gemini и DeepSeek. Научная группа вводила запросы, основанные на существующих базах данных советов по межличностным отношениям, промпты, касающиеся потенциально вредных или незаконных действий, а также материалы из сообщества r/AmITheAsshole на Reddit. В последнем случае исследователи делали акцент на постах, где пользователи приходили к выводу, что автор публикации на самом деле был «злодеем» истории.
Команда учёных выяснила, что все оцениваемые БЯМ поддержали поведение пользователей в среднем на 49% чаще, чем авторы мануалов. В примерах с Reddit чат-боты одобряли поведение в 51% случаев, хотя участники обсуждения приходили к противоположному выводу. Для запросов о вредных и незаконных действиях ИИ оправдывал поведение пользователей в 47% случаев.
В одном из случаев чат-бот поддержал пользователя, который обманывает свою девушку по поводу работы, отметив, что его действия «продиктованы желанием понять динамику отношений, выходящую за рамки материального или финансового вклада».
Во второй части исследования учёные изучили, как более 2,4 тыс. участников взаимодействовали с чат-ботам. Некоторые из чат-ботов были склонны к «подхалимству», а другие — нет. Научная группа обнаружила, что участники больше доверяли первому типу ИИ. Они говорили, что с большей вероятностью снова обратятся за советом именно к этим моделям.
Все эти эффекты сохранялись при учёте индивидуальных особенностей, таких как демографические данные и предварительная осведомлённость об ИИ. Более того, выбор льстивых ответов порождает искажённые стимулы — та особенность, которая причиняет вред, одновременно повышает вовлечённость. В связи с этим у разработчиков ИИ возникает стимул усиливать «подхалимство» своих моделей.
Взаимодействие с льстивым ИИ, вероятно, укрепляло у участников уверенность в своей правоте и снижало вероятность принесения извинений.
Ведущий автор исследования и профессор лингвистики и информатики Дэн Джурафски заявил, что «подхалимство» ИИ — это вопрос безопасности, который требует регулирования и надзора.
Сейчас исследовательская группа изучает способы сделать модели менее подобострастными. Ченг подчеркнула, что не следует использовать ИИ в качестве замены людей для получения личных советов.
Автор: Travis_Macrif
