Исследование: четыре самых популярных чат-бота с ИИ допускают много ошибок при подготовке сводок новостей

Издание BBC обнаружило ^[1], что четыре самых популярных чат-бота неточно резюмируют новости. В рамках собственного исследования редакция BBC попросила ChatGPT от OpenAI, Copilot от Microsoft, Gemini и Perplexity прочитать новости со своего сайта, а затем задавала им вопросы, связанные с содержанием материалов. Как утверждают в BBC, в полученных ответах были «значительные неточности и искажения».

Журналисты попросили чат-ботов прочесть 100 новостей. После серии вопросов по содержанию материалов они оценили качество ответов. Выяснилось, что в 51% всех ответов ИИ были «существенные проблемы в той или иной форме», а в 19% были грубые фактические ошибки ^[2]. Например, чат-бот Google Gemini переврал заявление Национальной службы здравоохранения Великобритании о вейпинге, а ChatGPT и Copilot заявили, что политики Риши Сунак и Никола Стерджен, ушедшие в отставку, до сих пор работают.

Помимо фактических ошибок, чат-боты «с трудом различали мнение редакции и объективные факты и часто упускали существенный контекст». При этом Copilot и Gemini допускали больше серьёзных ошибок, чем ChatGPT и Perplexity, отмечают в BBC.

Как заявил директор программы BBC по генеративному ИИ Пит Арчер, издатели «должны контролировать, используется ли их контент и как он используется, а компании, которые разрабатывают ИИ-сервисы, должны раскрывать масштаб и объём ошибок и неточностей, которые они допускают».