FINESSE-Bench: как мы обновили финансовый бенчмарк для LLM

В Лаборатории искусственного интеллекта «Финама» мы изучаем и развиваем применение ИИ в финансовом домене: от бенчмаркинга LLM до прикладных сценариев в трейдинге, аналитике и управлении рисками. В предыдущей статье мы рассказывали о первой версии нашего набора бенчмарков для оценки финансовых знаний моделей. С тех пор проект вырос, получил отдельную страницу FINESSE-Bench и заметно изменился — и по объёму, и по качеству, и по строгости методологии.

Почему нам вообще важна эта тема? Потому что в финансах недостаточно проверить модель на нескольких популярных открытых QA-бенчмарках и сделать вывод, что она «хорошо понимает домен». На практике мы постоянно видим, что сильные результаты на привычных публичных наборах данных далеко не всегда переносятся на более прикладные, экзаменационные или ориентированные на трейдинг задачи.

По этой причине мы продолжаем развивать FINESSE-Bench как набор бенчмарков, который позволяет оценивать не только среднюю точность модели, но и то, как она ведёт себя при росте сложности, как переносит качество между разными типами задач и насколько уверенно работает в специализированных финансовых сценариях.

В этой статье мы хотим показать, как проект изменился после первой публикации. Мы обновили часть данных и исправили проблемные вопросы в CFA-like Level 1, добавили новый набор данных по техническому анализу — CFTe-like Level 1, расширили пул моделей, усилили расчёт метрик за счёт бутстрап-оценки и аккуратного агрегирования результатов по группам бенчмарков, а также отдельно посмотрели на различающую способность и насыщение самих наборов вопросов.

Иными словами, если в первой статье мы главным образом представляли проект и первые результаты, то сейчас хотим показать следующую ступень его развития: FINESSE-Bench как более зрелый инструмент для диагностики финансовой компетентности LLM.

Что изменилось после первой статьи

После первой статьи проект изменился сразу в нескольких направлениях.

Во-первых, мы перепроверили CFA-like Level 1 и исправили 169 вопросов: одни вопросы оказалась устаревшей, другие содержалали неочевидные проблемы в формулировках или разметке. Это не самый заметный апдейт снаружи, но очень важный для качества итоговой оценки.

Во-вторых, мы расширили trading/TA-направление и добавили новый датасет CFTe-like Level 1. Раньше в этой trading области у нас уже были специализированные наборы задач, а теперь появился ещё и более базовый блок, который лучше закрывает фундаментальный уровень знаний по technical analysis.

В-третьих, мы улучшили расчёт метрик. Вместо того чтобы смотреть только на одну точечную accuracy, мы перешли к оценке с бутстрапированием и стали считать доверительные интервалы для результатов. Это сделало сравнение моделей заметно более устойчивым и честным.

В-четвёртых, мы сохранили логику анализа по группам бенчмарков, но сделали ранжирование моделей на уровне групп более аккуратным: теперь для агрегированных оценок используем стратифицированное бутстрапирование с учётом размеров датасетов.

В-пятых, мы отдельно оценили различающую способность и насыщение бенчмарков. Нам было важно понять не только то, как модели отвечают, но и то, насколько сами наборы вопросов хорошо различают сильные и слабые системы.

В-шестых, мы существенно расширили пул моделей: на момент подготовки этой статьи через FINESSE-Bench прошло уже более 60 систем, а для основных сравнительных таблиц мы оставляем 33 модели с полным покрытием по всем одиннадцати бенчмаркам (8 FINESSE + 3 public). Это дало более репрезентативную картину и по лидерам, и по динамике качества на разных типах финансовых задач.

Наконец, проект получил отдельный GitHub-репозиторий, страницу FINESSE-Bench, а вся работа оформилась в полноценную статью на arXiv и карточку на Hugging Face Papers.

FINESSE-Bench сегодня

На текущем этапе FINESSE-Bench — это уже не просто набор отдельных финансовых тестов, а более цельный инструмент для оценки финансовой компетентности LLM.

В актуальной версии он включает восемь специализированных датасетов общим объёмом 3993 вопроса:

• CFA-like Level 1,

• CFA-like Level 2,

• CFA-like Level 3,

• CMT-like Level 2,

• CFTe-like Level 1,

• VLigaBench-ru,

• Trading_TA,

• Trading_derivatives.

Внутри набора сочетаются несколько типов задач: экзаменационные датасеты, прикладные trading/TA-задачи и русскоязычный олимпиадный блок. За счёт этого FINESSE-Bench позволяет смотреть не только на усреднённый результат, но и на поведение моделей в разных срезах финансового домена.

Основные характеристики датасетов FINESSE-Bench

0.0.0.1 Обозначения форматов.

MCQ — вопросы с выбором ответа; NAQ — задачи с числовым ответом; SAQ — задачи с кратким ответом.

Новый датасет CFTe-like Level 1

Одно из ключевых содержательных обновлений — добавление CFTe-like Level 1. Этот датасет содержит 781 вопрос и покрывает базовые темы technical analysis: типы графиков, тренды, уровни поддержки и сопротивления, базовые паттерны, moving averages и momentum indicators.

Для нас это важное расширение именно структуры набора бенчмарков. Теперь trading/TA-направление охватывает не только прикладные сценарии, но и фундаментальный уровень знаний, что делает оценку моделей в этой области более цельной.

Как мы улучшили расчёт метрик

В первой версии проекта основным ориентиром была обычная accuracy. Это естественная стартовая метрика, но по мере роста числа датасетов и моделей нам стало важно оценивать не только точечное значение, но и устойчивость результата.

Для каждого бенчмарка мы по-прежнему считаем accuracy:

 где Si — бинарная оценка правильности ответа на i-й вопрос.

Но теперь для каждого результата мы дополнительно считаем 95% доверительные интервалы с помощью бутстрапа. Это позволяет аккуратнее интерпретировать близкие результаты моделей и снижает риск делать слишком сильные выводы по небольшим отличиям в итоговой точности.

На практике это означает простую вещь: мы по-прежнему смотрим на accuracy как на основную метрику, но теперь рассматриваем её вместе с оценкой разброса, а не как единственную цифру, которой нужно верить безоговорочно. Если две модели отличаются на одну–две сотые, доверительный интервал помогает понять, является ли это устойчивым преимуществом или просто шумом конкретного набора вопросов.

Как мы ранжируем модели по группам бенчмарков

Отдельная задача — корректно агрегировать результаты на уровне групп бенчмарков. Когда внутри группы датасеты заметно различаются по размеру, простого среднего уже недостаточно: оно может искажать итоговую картину.

Поэтому для агрегированных результатов по группам мы используем стратифицированное бутстрапирование с весами, пропорциональными размеру датасета. Такой подход лучше сохраняет структуру группы и даёт более качественную оценку на уровне целого направления задач.

Такой подход позволяет нам аккуратнее сравнивать модели не только на отдельных бенчмарках, но и по более широким срезам: например, на exam-like задачах или на trading/TA-блоке в целом.

Агрегированные результаты по группам бенчмарков

По агрегированным результатам верхнюю планку задают GPT-5.5 (0.906 на exam-like и 0.876 на trading/TA), Claude Opus 4.8 и Claude Sonnet 4.6 на public benchmarks (0.911 и 0.907 соответственно). При этом разрыв между группами по-прежнему существенный: даже у сильных frontier-моделей результат на trading/TA часто на 0.03–0.08 ниже public.

Ёмкость бенчмарков: различающая способность и насыщение

Когда мы сравниваем модели, важно понимать не только то, кто набрал больше, но и то, насколько сами бенчмарки вообще хорошо различают модели между собой.

Если слишком большая доля вопросов решается либо всеми моделями, либо не решается никем, то такой набор данных имеет ограниченную диагностическую ценность. Наиболее полезны вопросы промежуточной сложности: те, на которых часть моделей справляется, а часть — нет. Именно они лучше всего отделяют сильные системы от средних и слабых.

Поэтому мы отдельно посмотрели на три характеристики каждого набора:

• долю вопросов, которые не решает ни одна модель;

• долю вопросов, которые решают все модели;

• долю вопросов в промежуточной зоне, где правильно отвечает от 10% до 90% моделей.

Этот анализ оказался очень показательным. Многие компоненты FINESSE-Bench демонстрируют высокую долю вопросов именно в такой информативной промежуточной зоне — особенно на CFA-like Level 2 и Level 3, где в промежуточной зоне оказывается около 80% вопросов, и на Trading_derivatives (~73%). Это означает, что наши наборы данных не просто покрывают новые финансовые темы, но и действительно хорошо работают как инструмент сравнения современных моделей.

При этом public-бенчмарки ведут себя иначе: на TAT-QA, например, почти половина вопросов решается всеми моделями из текущего пула (45%), а промежуточная зона там уже заметно уже (13%). То есть различия между моделями наиболее содержательны именно на специализированных FINESSE-наборах, а не на привычных открытых QA-бенчмарках.

Мы расширили пул моделей

Ещё одно важное обновление — мы заметно расширили список моделей, которые прогнали через FINESSE-Bench. Сейчас в общем пуле замеров — 66 систем; из них 49 имеют полное покрытие по всем одиннадцати бенчмаркам, а в таблицах ниже мы показываем 33 модели, отобранные для сопоставимого сравнения.

Среди новых сильных результатов особенно выделяются GPT-5.5, Claude Opus 4.8 и GPT-5: они попали в топ по нескольким группам сразу и заметно сдвинули общую «верхнюю планку» качества по сравнению с предыдущей волной замеров.

Во-первых, результаты стали более репрезентативными: теперь мы лучше видим не только абсолютных лидеров, но и общую картину по рынку — от frontier-моделей до компактных и доменно-специализированных систем.

Во-вторых, стало проще анализировать профили моделей: где система особенно сильна, где теряет качество и насколько хорошо переносит результат с открытых public benchmarks на exam-like и trading/TA-задачи. Для честного сравнения мы сознательно не включаем в основные таблицы модели с неполным покрытием бенчмарков — иначе разрыв в результатах может отражать не качество, а просто отсутствие замера.

Лидерборд и полный список замеров можно посмотреть на странице FINESSE-Bench.

Что показал анализ результатов

После того как мы обновили датасеты, расширили набор моделей и усилили методологию оценки, нам стало важнее не просто показать таблицы с результатами, а понять, какие устойчивые закономерности стоят за этими числами.

Если коротко, то анализ дал нам три ключевых вывода. Во-первых, результаты на классических открытых финансовых бенчмарках далеко не всегда хорошо переносятся на FINESSE-Bench. Во-вторых, иерархия сложности в exam-like части действительно работает и позволяет видеть деградацию качества по мере усложнения задач. В-третьих, разные группы бенчмарков по-разному перестраивают лидерборд, поэтому полезно смотреть не только на общий результат, но и на профиль модели.

Разрыв между public benchmarks и FINESSE-Bench

Один из самых важных результатов нашего анализа — это разрыв переноса качества между классическими public benchmarks и более профессионально-ориентированными группами FINESSE-Bench.

Когда мы сравнили агрегированные результаты моделей на public benchmarks, exam-like и trading/TA, оказалось, что сильный результат на открытых бенчмарках вовсе не гарантирует столь же сильный результат на прикладных или экзаменационных задачах. Для значительной части моделей качество на FINESSE-Bench-группах заметно ниже, чем на привычных публичных наборах данных.

Для нас это один из главных аргументов в пользу всего проекта. FINESSE-Bench не заменяет public benchmarks, а дополняет их: он помогает увидеть именно те различия, которые не проявляются на более стандартных форматах финансовой оценки.

Яркий контраст — MiMo-V2-Flash и специализированные компактные модели вроде Fino1-8B: у них разрыв public → exam превышает 0.25–0.33. На другом полюсе — GPT-5.5 и Qwen3.5-Plus-02-15, у которых перенос заметно более ровный (разрыв public → exam около 0.004–0.008). У GLM-5 результат на exam-like даже чуть выше public, что показывает: «хороший public score» и «хороший профиль на FINESSE-Bench» — не одно и то же.

Разрыв переноса качества между классическими открытыми финансовыми бенчмарками и группами FINESSE-Bench

На графике особенно хорошо видно, что многие модели демонстрируют положительный разрыв сразу по двум направлениям: и по exam-like, и по trading/TA. В правом верхнем секторе оказываются как раз те системы, у которых public benchmarks выглядят сильнее, чем exam-like и trading/TA вместе взятые — то есть привычные открытые наборы данных часто оказываются более «комфортной» средой, чем задачи, ближе стоящие к профессиональному использованию моделей в финансах.

Иерархия сложности: CFA-like Level 1 → Level 2 → Level 3

Второй важный вывод связан с иерархией сложности внутри exam-like части FINESSE-Bench. Для нас было принципиально важно проверить, работают ли CFA-like Levels 1–3 как осмысленная лестница сложности, а не просто как три набора задач с разными названиями.

Результаты показывают, что такая иерархия действительно есть. По мере перехода от CFA-like Level 1 к более сложным уровням у моделей в целом наблюдается снижение качества, особенно если сравнивать крайние точки — Level 1 и Level 3. Например, у DeepSeek-V3.2 суммарная деградация L1 → L3 составляет 0.22, а у Qwen3.5-397B-A17B — 0.16. Это означает, что набор бенчмарков позволяет измерять не только базовую финансовую осведомлённость, но и устойчивость модели при росте сложности задач.

При этом деградация не обязана быть строго монотонной на каждом соседнем шаге. Для некоторых моделей Level 2 может оказываться сопоставимым с Level 1 или даже немного удобнее по профилю задач. Но именно сравнение с Level 3 наиболее надёжно показывает, насколько хорошо модель удерживает качество на более сложных финансовых сценариях.

Деградация качества на иерархии сложности CFA-like: Level 1 →  Level 2 →  Level 3

Лидеры групп и профили моделей

Ещё один интересный вывод мы получили, когда посмотрели не только на общий лидерборд, но и на лидеров внутри отдельных групп бенчмарков.

Оказалось, что универсального лидера по всем направлениям нет — и после расширения пула это видно ещё отчётливее. На public benchmarks лидирует Claude Opus 4.8 (0.911), на exam-like — GPT-5.5 (0.906), на trading/TA — тоже GPT-5.5 (0.876). При этом GPT-5 и Qwen3.5-Plus-02-15 стабильно остаются в верхней тройке по exam-like, а Kimi K2.5 — среди сильнейших на trading/TA. Это означает, что разные группы бенчмарков действительно измеряют разные стороны финансовой компетентности.

Для практики это важный момент. Если модель выбирается под реальный финансовый сценарий, то смотреть только на одну агрегированную метрику недостаточно. Намного полезнее понимать профиль модели: где именно она сильна, насколько ровно ведёт себя на разных типах задач и не достигается ли высокий общий результат за счёт сильного перекоса в одну область.

Наиболее сбалансированные модели по трём группам бенчмарков

Если смотреть на модели с наиболее ровным профилем по трём группам, лидирует GPT-5.5: средний результат 0.897 при минимальном значении 0.876 по trading/TA. На втором месте — Claude Opus 4.8, далее Kimi K2.5 и GPT-5. Интересно, что Claude Sonnet 4.6 по-прежнему очень силён на public benchmarks (0.907), но заметнее проседает на trading/TA (0.825), из-за чего в рейтинге сбалансированности уступает более «ровным» системам.

Именно поэтому в текущей версии FINESSE-Bench мы смотрим не только на лидерборд как таковой, но и на более тонкую структуру результатов: перенос качества между группами, деградацию по уровням сложности и баланс профиля модели в разных финансовых поддоменах.

Где теперь живёт проект

Вся актуальная версия проекта теперь собрана в новых точках входа:

• GitHub

• arXiv

• Hugging Face Papers

На GitHub доступны результаты, код и единый фреймворк оценки. В статье на arXiv мы подробно описали структуру набора бенчмарков, протокол оценки, анализ по группам бенчмарков и ключевые выводы по результатам.

Вывод

Если коротко, то после первой статьи FINESSE-Bench стал не просто больше, а более зрелый.

Кроме того, мы отдельно посмотрели на различающую способность и насыщение самих наборов вопросов и увидели, что многие компоненты FINESSE-Bench действительно хорошо отделяют сильные модели от более слабых. А анализ результатов показал то, что для нас особенно важно: качество на public benchmarks далеко не всегда переносится на более прикладные и профессионально-ориентированные финансовые задачи — хотя новое поколение моделей вроде GPT-5.5 демонстрирует, что высокий результат на public benchmarks и сильный результат на FINESSE-Bench могут сочетаться.

Именно поэтому мы рассматриваем FINESSE-Bench не просто как ещё один набор финансовых тестов, а как инструмент для более содержательной диагностики финансовой компетентности LLM. И нам кажется, что именно в таком формате набор бенчмарков становится по-настоящему полезным — и для исследований, и для практической оценки моделей.