Новый бенчмарк показывает, что даже лучшие ИИ‑модели плохо справляются с правдой

Недавнее исследование представляет Facts Benchmark, уникальный тест, который измеряет способности больших языковых моделей (LLM) оперировать фактами и достоверной информацией. Этот бенчмарк специально создан для того, чтобы выявлять, насколько модели теряют связь с реальной правдой даже тогда, когда запросы ясные и проверяемые. Анализ показывает тревожную тенденцию: многие топовые модели продолжают генерировать неверные утверждения, уверенно выдавая их за факты.

В основе Facts Benchmark лежит тщательно отобранный набор вопросов с однозначно проверяемыми ответами. Он охватывает факты из истории, науки, географии, данных о событиях и других областей, где истинный ответ известен и документирован. Исследователи сравнили результаты разных моделей и обнаружили, что ни одна из них не набирает близких к идеальным показателей. Даже самые продвинутые решения демонстрировали значимые ошибки ^[1] в простой информации, которую человек без труда мог бы подтвердить или опровергнуть.

Эксперты отмечают, что проблема не в способности формулировать «похожий на правду» текст, а именно в неумении отделять фактическую достоверность от красиво сформулированной, но неверной истории. Модели склонны создавать поверхностно правдоподобные ответы, которые не проходят строгую проверку фактов. Это порождает опасения, что в приложениях, где важна точность, например, в медицине, финансах, юридической аналитике и научных исследованиях – опасность ошибок остаётся очень высокой.

Исследователи подчёркивают, что стандартные тесты и бенчмарки часто измеряют не тот навык, который требуется в реальном мире, где ответы должны быть точными и проверяемыми. Они призывают разработчиков пересмотреть методы оценки моделей, чтобы больше внимания ^[2] уделялось сути факта, а не общему стилю или убедительности ответа.

В итоге Facts Benchmark стал важным сигналом для индустрии: даже самые крупные и мощные модели пока не заменят человеческую проверку фактов и критическое мышление ^[3]. Это исследование служит напоминанием, что искусственный интеллект ^[4] должен дополнять экспертов, а не заменять их, особенно в задачах, где точность имеет решающее значение.

Делегируйте часть рутинных задач вместе с BotHub! ^[5] Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке ^[6] вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!

Источник ^[7]