Как OpenRouter Fusion обошёл Claude Fable 5. API.. API. llm.. API. llm. бенчмарки.. API. llm. бенчмарки. искусственный интеллект.. API. llm. бенчмарки. искусственный интеллект. Машинное обучение.. API. llm. бенчмарки. искусственный интеллект. Машинное обучение. нейросети.. API. llm. бенчмарки. искусственный интеллект. Машинное обучение. нейросети. Управление проектами.

С начала этого года я веду бенчмарк ИИ моделей для менеджеров, и после последнего обновления – есть о чем рассказать (прошла версия рейтинга тут). Первое место занял OpenRouter Fusion – оркестратор, который вызывает сразу несколько моделей, собирает их ответы и синтезирует финальный результат. Он обошёл всех: и Claude, и GPT, и Gemini поодиночке.

Так написали в том числе команда OpenRouter, но я с независимыми от них данными. У меня на руках остались логи всех API-вызовов: токены, стоимость, время, оценки по каждой категории. Давайте по ним и посмотрим, как Fusion устроен изнутри, какие модели он дёргает на самом деле и окупается ли качество той наценкой, что он берёт сверху.

OpenRouter Fusion против Claude Fable 5: три модели и судья

OpenRouter Fusion против Claude Fable 5: три модели и судья

Контекст: бенчмарк бизнес-задач

Я веду mysummit.school – проект про ИИ для менеджеров, и бенчмарк AI-моделей начался с простого рабочего вопроса: какую модель советовать студентам-менеджерам. Веду его с начала 2026 года. Задания – реальные рабочие задачи менеджера: анализ данных, коммуникация, планирование, управление командой, решение проблем. Никакого абстрактного кода и олимпиадной математики, только то, чем занят рабочий день. Контекст – российские и СНГ-реалии: трудовое право, локальные провайдеры, специфика рынка.

Оценивают два судьи – Claude Opus 4.6 и Gemini 3.1 Pro (для консистентности еще не мигрировал на мощные модели). У каждого свой характер: Gemini завышает в среднем на +0.39, Claude занижает на −0.53. Поэтому я применяю коррекцию смещения и взвешиваю оценки 30/70. Система не идеальная, но воспроизводимая и прозрачная – по крайней мере, видно, откуда взялась каждая цифра.

Что такое OpenRouter Fusion

OpenRouter Fusion – оркестрационный слой поверх обычных моделей: вы отправляете один API-запрос с model: "openrouter/fusion", а внутри разворачивается пятиэтапный конвейер.

alt text

Схема работы OpenRouter Fusion

Работает это так. Панель (группа моделей для сбора ответов) из 1–8 моделей отвечает параллельно (по умолчанию – Claude Opus, GPT-latest, Gemini Pro). Судья сравнивает их ответы и выдаёт структурированный JSON: где консенсус, где расходятся, чего не хватает, что все трое проглядели. Температуру судьи держат на 0. Финальная модель уже из этого разбора собирает ответ. Веб-поиск (web_searchweb_fetch) доступен всем участникам конвейера.

Тут есть нюанс, о котором легко забыть: модель сама решает, звать ли панель. На простом запросе она вполне может ответить напрямую. Чтобы гарантированно прогнать запрос через всю панель – а в бенчмарке мне это было нужно – ставишь tool_choice: "required".

По деньгам получается N вызовов панели плюс вызов судьи плюс вызов синтезатора. На дефолтной тройке это выходит примерно в 4-5 раз дороже одиночного запроса.

Что Fusion вызывает на самом деле: данные из логов

От теории – к логам. У меня есть экспорт активности из OpenRouter за весь прогон бенчмарка. Вот что Fusion реально вызывал:

Модель

Вызовов

Стоимость, USD

Среднее время, сек

Input-токены

Output-токены

Claude Opus 4.8

278

77.69

85.1

11 327 643

1 458 893

GPT-5.5

170

30.34

68.2

3 643 822

704 326

Gemini 3.1 Pro

93

5.43

40.0

304 127

406 354

Итого

541

113.47

72.1 (среднее)

15,3 млн

2,6 млн

Это не удаляется :( поэтому тут блок этот есть

Первое, что бросается в глаза: Claude Opus 4.8 – это половина всего Fusion. 51,4% вызовов, 68.5% стоимости. По сути Fusion – это Opus, которому через плечо заглядывают GPT-5.5 и Gemini. Плачу ли я за обёртку вокруг того же Opus? Похоже на то. Насколько – посчитаю по деньгам.

Стоимость Fusion по моделям: 68% Claude Opus, 27% GPT-5.5, 5% Gemini

Стоимость Fusion по моделям: 68% Claude Opus, 27% GPT-5.5, 5% Gemini

GPT-5.5 – второй по объему (31.4% вызовов), но стоит вдвое меньше Opus из-за разницы в ценах на токены. Gemini 3.1 Pro – самый дешёвый участник: 93 вызова за $5.43.

Сколько это стоит по сравнению с одиночной моделью

Для сравнения я взял Claude Fable 5 – модель, которая заняла третье место в бенчмарке и которую я прогонял через Anthropic API напрямую.

Claude Fable 5 (прямой API) съел 208 тыс. input-токенов и 958 тыс. output-токенов. При цене $10/MTok на вход и $50/MTok на выход это ~$50 за весь набор задач.

OpenRouter Fusion на тех же 80 сценариях обошёлся в $113.47 – в 2.27 раза дороже, чем запуск одной топовой модели.

Оправдана ли эта разница? Зависит от того, что вы получаете за неё.

Результаты: общий рейтинг

Топ моделей в бенчмарке:

Место

Модель

Оценка

1

OpenRouter Fusion

9.03

2

Claude Opus 4.6

8.77

3

Claude Fable 5

8.76

4

GPT-5.5

8.66

5

MiMo v2.5 Pro

8.37

6

Grok 4.5

8.36

7

Claude Opus 4.7

8.32

8

Kimi K2.6

8.27

9

Nemotron 3 Ultra

8.27

Fusion лидирует с отрывом 0.26 балла от второго места. Для контекста: разница между 2-м и 9-м местом – 0.50 балла. То есть Fusion вырвался вперед примерно на половину того диапазона, что отделяет «отличную» модель от «очень хорошей».

Оговорюсь сразу: Fusion – оркестратор, а не модель. Формально он не участник бенчмарка в том же смысле, что Claude или GPT. Я затащил его в прогон ради одного вопроса: может ли синтез нескольких моделей обойти отдельные модели на реальных задачах менеджера. Оказалось, что да. Хотя ставить его в один ряд с одиночными моделями – затея немного лукавая. Документ, который вычитали три редактора, конечно, выйдет чище черновика от одного. Но и времени с деньгами на него уйдёт втрое больше.

Средний балл мало что говорит сам по себе. Смотреть надо по категориям.

Покатегорийный разбор: где Fusion выигрывает и где проигрывает

Я сравнил Fusion с Fable 5, потому что Fable – ближайший конкурент, доступный через один API-вызов.

Категория

Fusion

Место

Fable 5

Место

Дельта

Информационный поиск

8.89

1

8.14

6

+0.75

Коммуникация

9.03

1

8.61

2

+0.42

Анализ и решения

9.17

1

8.96

2

+0.21

Планирование

9.18

3

9.26

1

−0.08

Решение проблем

8.97

1

8.68

3

+0.29

Обучение и развитие

8.88

1

8.43

7

+0.45

Управление командой

9.21

2

9.21

1

0

Региональная осведомлённость

8.91

1

8.77

2

+0.14

Оценки Fusion и Fable 5 по восьми категориям: Fusion идёт ровным контуром, Fable спикует в планировании и проваливается в поиске

Оценки Fusion и Fable 5 по восьми категориям: Fusion идёт ровным контуром, Fable спикует в планировании и проваливается в поиске

Fusion – первый в 6 из 8 категорий. Но два наблюдения заслуживают внимания.

В планировании Fable 5 обходит Fusion. На 0.08 балла, но обходит. В управлении командой у них ничья (9.21 у обоих), и по формальному ранжированию первой идёт Fable. Обратите внимание, что это за задачи: построить план проекта, подготовить оценку сотрудника, провести трудный разговор. Везде важна цельность нарратива. И вот здесь синтез из нескольких источников, похоже, скорее мешает – в готовом плане проступают «швы» между тем, как эту задачу видели разные модели.

Самый большой отрыв – в информационном поиске, +0.75. Тут-то мультимодельность и выстреливает. Три модели с доступом к вебу ищут параллельно, натыкаются на разные источники, судья их сводит, синтезатор вычищает повторы. На задачах «найди и сопоставь» одна модель так не может физически – у неё один заход в поиск, а не три.

Стабильность: кросс-категорийная дисперсия

Есть показатель, на который редко смотрят – стандартное отклонение оценок между категориями. По нему видно, насколько ровно модель тянет разные типы задач.

  • Fusion: SD = 0.14

  • Fable 5: SD = 0.38

У Fusion разброс самый маленький в бенчмарке, ни одной провальной категории. Fable 5 гуляет заметно сильнее: 9.26 в планировании и всего 8.14 в поиске. За это и платим.

Оговорюсь как аналитик, чтобы не выдавать желаемое за доказанное. Разброс я считаю всего по 8 категориям – доверительные интервалы тут широкие, и формально разница едва проходит порог значимости. Плюс часть эффекта – это ceiling: оценки Fusion жмутся к верху шкалы, а там вариться попросту негде. Да и добрая доля отрыва Fable держится на одном провале в поиске: уберёшь его – и её разброс падает с 0.38 до 0.31. Направление я считаю устойчивым, но сравнивать по баллам, не так важно, конечно же.

Что умеет Fusion, чего не может одиночная модель

Числа показывают, что Fusion выигрывает. А за счёт чего – видно из текстовых комментариев судей. Одну их строчку я считаю чуть ли не главной во всей статье, но начну со слабости: она честнее.

Про работу в целом судьи написали так:

«Лидер рейтинга с уникальным форматом многоуровневого синтеза. Выдает аналитику уровня ведущего консультанта с прозрачным разбором согласий и противоречий экспертов. Главная слабость – избыточная длина ответов из-за включения сырых промежуточных выводов моделей.»

Длина – действительно больное место. Fusion не ограничивается синтезом. Он то и дело волочёт в финал промежуточную кухню панели: «модель A считает X, модель B считает Y, консенсус такой». Для аналитики это плюс, виден весь спектр. А там, где нужен один ответ, получаешь простыню, которую приходится вычищать глазами.

А теперь та самая строчка – про анализ и решения:

«Высокие оценки за переформатирование ложных дихотомий и чёткие критерии решений.»

Вот что Fusion умеет, а одиночная модель нет. «Ложная дихотомия» – это когда задача навязывает выбор «A или B». Fusion в ответ выкатывает: одна модель ушла в A, другая в B, третья заявила, что сам выбор поставлен неверно. Три ответа – и вдруг видно, что выбор-то ложный. Одиночной модели тут не с чем сравнивать: ей дали два варианта, она из двух и выбирает.

Для сравнения: что сказали о Fable 5

Про неё судьи писали примерно одно и то же, в трёх формулировках:

«Сильная модель для руководителей в планировании и управлении командой. Избегайте её в задачах с точными расчетами из-за ошибок в цифрах.»

«Прекрасно находит искажения в протоколах и строит схемы контроля. Слабость – мелкие ошибки в подсчетах.»

«Великолепно готовит оценку сотрудников и сценарии диалогов.»

Ошибки в цифрах всплывают в каждом втором комментарии – видимо, её фирменное. В остальном Fable 5 – из тех, кто хорош в своём. План, люди, разговоры – отлично. Цифры и поиск – лучше не подпускать. У Fusion такого профиля нет вообще: он нигде не проваливается, но и таких пиков, как у Fable 5 в планировании, за ним я не видел.

Что говорят чужие бенчмарки: DRACO и self-fusion

Наш бенчмарк – не единственный, где Fusion показал результаты. В июне 2026 года OpenRouter опубликовал собственные тесты.

Результаты:

Сравнение Fusion в разных конфигурациях

Сравнение Fusion в разных конфигурациях

В этой схеме две строчки, ради которых стоит остановиться.

Первая удивила меня сильнее всего: Opus 4.8, склеенный сам с собой (два экземпляра плюс судья), выдал 65.5%. Это на 6.7 пункта выше, чем тот же Opus в одиночку (58.8%), и почти вровень с Fable 5. Модель одна и та же, данные те же, а два прогона с последующим синтезом дают скачок на ровном месте. Выходит, объяснение «просто разные модели знают разное» тут не срабатывает – разных моделей нет вообще.

Косвенно это бьётся с разбивкой прироста. В одном разборе на YouTube прикинули, что грубо три четверти выигрыша даёт сам этап синтеза (судья плюс финальная сборка), и лишь четверть – разнообразие панели. Это оценка одного энтузиаста, а не измерение, так что за точность цифры не поручусь. Но с моими данными она хотя бы не спорит: похоже, весь фокус в рефлексии над черновиками, а не в том, кто их написал.

Бюджетная панель (Gemini 3 Flash + Kimi K2.6 + DeepSeek V4 Pro) набрала 64.7% – в пределах одного процентного пункта от Fable 5, при стоимости примерно вдвое ниже. Для тех, кому Fable 5 недоступен (доступ из России заблокирован), это рабочая альтернатива. Для местного читателя это, наверное, самый практичный расклад во всей статье.

Длительность ответа: для чего это подходит

Среднее время ответа Fusion – 72 секунды. Больше минуты на один запрос. На 541 вызове это складывается в часы ожидания, и весь прогон я гонял фоном, между другими делами.

Для сравнения:

  • Claude Opus напрямую: ~30–45 секунд на сложных задачах

  • GPT-5.5: ~20–40 секунд

  • Gemini 3.1 Pro: ~15–25 секунд

72 секунды убивают чат-ботов и batch-обработку – любой сценарий, где пользователь ждёт ответ в реальном времени, отпадает сразу. Зато на задачах, которые вы раньше отдавали внешнему консультанту – стратегический анализ, подготовка отчёта, проверка критического решения, – минута ожидания не стоит разговора. Аналитик потратил бы на ту же работу пару часов.

Экономика: стоит ли оно того?

Посчитаем. За 80 сценариев через Fusion вы платите $113.47; за те же сценарии через Fable 5 – $50.01. Разница – $63.46, то есть примерно $0.79 на сценарий сверху.

Что вы получаете за эту доплату: +0.27 балла средней оценки (9.03 против 8.76) и стабильность (SD 0.14 против 0.38).

Fusion против Fable 5 за одну задачу: токены ×15, стоимость ×2,3, качество ×1,03

Fusion против Fable 5 за одну задачу: токены ×15, стоимость ×2.3, качество ×1.03

Нагляднее всего это видно, если свести всё к одной задаче и принять Fable 5 за единицу. Fusion сжигает в 15 раз больше токенов и стоит в 2.3 раза дороже – а качество прибавляет всего на 3%.

Стоит ли это для вашего бизнеса – вопрос к вам. Готовите стратегический отчет для совета директоров – наверное, да. Обрабатываете тысячу обращений в поддержку – очевидно, нет.

Есть и другой ракурс. Fusion на 68% состоит из Claude Opus 4.8. Opus 4.8 занял бы второе место, если бы участвовал отдельно (в бенчмарке есть Opus 4.6 и 4.7, но не 4.8). То есть можно просто взять Opus 4.8 напрямую и получить примерно 80% качества Fusion за 30% его стоимости. Правда, вместе с экономией вы потеряете стабильность и кросс-проверку тремя парами глаз: в категориях, где Opus слаб, его вытягивают GPT и Gemini.

Итог

Если свести всё вместе, картина такая. Fusion берёт верхнюю строчку по качеству среди моделей в нашем бенче и держит её ровно по всем категориям. Три модели проверяют друг друга и сбивают часть галлюцинаций. Веб-поиск у всех троих. А кривую постановку задачи, которую одиночная модель проглатывает не глядя, здесь иногда ловят – когда как.

А самый практичный вывод для местного читателя даже не про Fusion в дефолтном виде. Fable 5 из России заблокирован, но бюджетная панель (Gemini 3 Flash + Kimi K2.6 + DeepSeek V4 Pro) в тесте DRACO подошла к нему на один процентный пункт – вдвое дешевле и целиком из доступных моделей. Про эту связку я уже сказал выше, но повторю: собирать стоит именно её, а не переплачивать за дефолтную тройку с Opus внутри.

Главное, что показали логи: мультимодельная оркестрация работает. Прирост реальный – на анализе, на поиске, кое-где на решении задач. Плюс та самая ровность, которой в одиночку не добьёшься. Полный бенчмарк с фильтрами – на mysummit.school/research/benchmark.

Ограничения методологии

В комментариях к первой статье справедливо указали на слабые места бенчмарка. Часть из них я закрыл, часть осталась.

В бенче, начиная с мая, я исправил главное. Шкалу расширил с 1–5 до 1–10 – потолок Gemini-судьи (45% оценок «5,0» в v1) перестал сжимать верхний диапазон. Набор сценариев вырос с 4 до 10 на категорию (80 вместо 32). Минимально детектируемая разница (MDD) упала с ~1,25 до ~0,50 балла. Результаты верхних моделей теперь идут кластерами, а не линейным рейтингом.

Но кое-что осталось. Два LLM-судьи – это два мнения, а не абсолютная истина (ground truth). Коррекция смещения (70/30) помогает, но не устраняет проблему полностью. Разница в 0,27 балла между Fusion (9,03) и Fable 5 (8,76) измерима и воспроизводима в моей методологии, но не дотягивает до статистически значимого отличия в строгом смысле – p-adj в HSD для соседних моделей по-прежнему высокий. Внутри топ-5 модели честнее считать кластером, а не ранжированным списком.

Честно про AI в этой статье

Раз уж весь текст про то, где AI помогает, а где нет, будет странно умолчать, что и статью я писал не в одиночку.

Данные, выводы и структура – мои. Логи, цифры, таблицы, разбор по категориям, оценка экономики и методологические оговорки – всё это я собирал и считал сам, AI тут ничего не придумывал. По ощущениям это процентов 80 работы.

А вот в чём мне помогала модель: причесать формулировки, переписать пару кусков (схему конвейера Fusion, пересказ комментариев судей). Черновик после этого я вычитывал руками – так что за каждую цифру и каждый вывод отвечаю я, а не модель.

Пишу это не ради галочки. Если статья про оценку AI-инструментов, то и про собственный процесс врать глупо.

Автор: bstan

Источник