Чат-бот Deepseek провалил тест на фактчекинг, как и другие чат-боты

Недавний тест Newsguard показал, что китайский чат-бот Deepseek с трудом справляется с обработкой фейковых новостей: в 83 процентах случаев он не распознает дезинформацию или активно ее распространяет. Стоит отметить, что Newsguard тестировал языковую модель Deepseek-V3 ^[1] без доступа к интернету, используя данные, действительные только до октября 2023 года. Подключение к интернету и возможности рассуждения модели R1 ^[2] могли бы значительно повысить ее точность.

Тем не менее, поскольку некоторые пользователи запускают модели с открытым исходным кодом, такие как Deepseek, локально в качестве баз знаний, даже если они меньше и потенциально еще менее функциональны, тест Newsguard служит напоминанием о том, что языковые модели без выделенного доступа к надежным источникам не являются надежными информационными системами.

Для проверки фактов Newsguard использовала свою базу данных «Отпечатки ложной информации» ^[3] , содержащую проверенные ложные утверждения о политике, здравоохранении, бизнесе и мировых событиях. Команда протестировала чат-бот с 300 подсказками на основе 10 ложных утверждений, циркулирующих в сети.

Результаты показали, что Deepseek повторял ложные заявления в 30 процентах случаев и избегал отвечать на вопросы в 53 процентах случаев. В целом, показатель отказов Deepseek в 83 процента ставит его в конец тестовой группы.

Для сравнения, ведущие системы, включая ChatGPT-4o, Claude и Gemini 2.0, показали себя несколько лучше, имея средний уровень ошибок 62 процента, хотя все еще демонстрируют значительный потенциал для улучшения.

Deepseek смог правильно определить ложные утверждения только в 17 процентах случаев, в то время как другие чат-боты обычно набирали от 30 до 70 процентов.

Однако, когда дело доходит до прямого распространения дезинформации, 30-процентный показатель Deepseek соответствует показателям других чат-ботов. Хотя давать правильный ответ было бы предпочтительнее, тенденция системы признавать, когда у нее нет информации (53% времени), на самом деле лучше, чем выдумывать факты, особенно для событий, которые произошли после даты окончания обучения ^[6].

Больше тестов чат-ботов за декабрь 2024 года доступно здесь ^[7] .

Как сообщает Newsguard, Deepseek часто без какой-либо подсказки называл позиции китайского правительства, даже по вопросам, не связанным с Китаем.

В некоторых ответах чат-бот использовал «мы», выражая точку зрения ^[8] Пекина. Вместо того, чтобы напрямую реагировать ^[9] на ложные заявления, он иногда переходил к повторению официальных китайских заявлений — форма контроля контента, распространенная в китайских моделях искусственного интеллекта ^[10] .

Как и другие системы искусственного интеллекта ^[11], Deepseek оказался уязвимым к подсказкам, которые выдавали ложную информацию за факт. В одном случае, когда его попросили написать о том, что Россия якобы производит 25 ракет средней дальности «Орешник» ежемесячно (реальная цифра составляет 25 в год, по данным украинской разведки), чат-бот принял и повторил неверную информацию.

По данным Newsguard, эта уязвимость делает систему удобным инструментом для распространения дезинформации, тем более что условия предоставления услуг Deepseek ^[12] возлагают ответственность за проверку фактов на пользователя.

Организация, которая отслеживает и оценивает надежность источников новостей, также недавно выразила обеспокоенность по поводу растущей тенденции: фейковые новостные сайты, созданные ИИ ^[13] . Newsguard уже обнаружила сотни таких сайтов, работающих на 15 разных языках, которые можно распознать по распространенным ошибкам и характерным шаблонам написания AI.

Источник ^[14]