OpenAI o3 демонстрирует почти идеальную производительность в тесте с длинным контекстом

Один из самых убедительных результатов недавних тестов o3 — его производительность при выполнении задач с длительным контекстом.

Поддерживая до 200 000 токенов, o3 является первой моделью, которая достигла 100-процентного результата на тесте ^[1]Fiction.live ^[2] с использованием 128 000 токенов — это примерно 96 000 слов. Для любой языковой модели, работающей с обширными повествованиями или большими документами, это значительный шаг вперёд. Единственная модель, которая близка к этому показателю, — Google Gemini 2.5 Pro ^[3], набравшая 90,6 процента, в то время как o3-mini и o4-mini значительно отстают.

Тест Fiction.LiveBench разработан для оценки способности моделей полностью осознавать и точно передавать смысл длинных и сложных текстов, включая контекст.

Например, Llama 4 от Meta* рекламирует контекстное окно размером до десяти миллионов токенов ^[4] — на бумаге это число кажется впечатляющим. Но на практике оно едва ли полезно для чего-то, кроме простого поиска слов, и не справляется с осмысленным пониманием длинных текстов.

Дело не только в Llama 4 ^[5]. В целом, многие модели плохо справляются с пониманием контекста, превращая эти огромные контекстные окна скорее в маркетинговый трюк, чем в реальную возможность. В худшем случае они создают у пользователей иллюзию, что модель обрабатывает весь документ, хотя на самом деле большая часть текста остаётся без внимания ^[6] — недостаток, отмеченный во многих исследованиях ^[7].

Для тех, кто сталкивается с реальными задачами, требующими стабильной и эффективной работы с большими объёмами данных, o3 теперь является явным лидером.

*Meta и ее продукты (Instagram, Facebook) запрещены на территории Российской Федерации

Источник ^[8]