- BrainTools - https://www.braintools.ru -

Claude Opus 5.5 у пяти зарубежных API-роутеров: пеликан на велосипеде и фламинго на моноцикле

Обложка: два SVG-теста Claude Opus 5.5

Обложка: два SVG-теста Claude Opus 5.5

В предыдущей статье о двух SVG-тестах Astra [1] я сравнил результаты пяти API-роутеров с результатами GPT-6 Astra через официальный API OpenAI. Теперь использую те же задания и способ сравнения для Claude Opus 5.5. Контрольные ответы получены через официальный API Anthropic.

Почему именно эти два задания

В SVG можно непосредственно рассмотреть птицу, транспорт и их взаимное положение. Я проверяю четыре признака: можно ли узнать заданную птицу, правильно ли изображены транспорт и число колёс, видно ли, что птица едет на велосипеде или моноцикле, и есть ли спицы. Критерии зафиксированы до генерации. Спицы — дополнительный признак: прямого требования рисовать их в запросе нет. Поэтому отметка «есть различия» означает отличие от контрольных рисунков по выбранным признакам, а не обязательно невыполнение задания.

Эксперимент 1. Пеликан на велосипеде

Вот весь промпт:

Generate an SVG of a pelican riding a bicycle. Output only the SVG code.

Эксперимент проведён 3 ноября 2026 года. Порядок запросов к платформам был таким: Token Harbor → TeamoRouter → OpenRouter → OrcaRouter. До и после них я обращался к официальному API. Пробный запрос к NaraRouter вернул HTTP 200, но внутри потока пришёл upstream_error, ответа не было. Поэтому основной запрос пропущен, а его место сохранено в журнале. Остальные шесть вызовов завершились успешно; ответы получены полностью, SVG удалось отрисовать.

Все запросы отправлены через нативный потоковый Anthropic Messages API с лимитом 6000 выходных токенов. Параметры temperature, top_p, thinking и effort не передавались. В каждом запросе только одно сообщение пользователя, без системного промпта, истории переписки и идентификатора сессии. Совпадение внутренних настроек платформ по умолчанию не проверялось. Идентификатор модели у Anthropic и TeamoRouter — claude-opus-5-5, у OrcaRouter и OpenRouter — anthropic/claude-opus-5.5, у Token Harbor и NaraRouter — claude-opus-5.5.

На рис. 1–5 слева направо показаны первый официальный ответ, ответ платформы и второй официальный ответ. Ответ каждой платформы сравнивается с официальными ответами, полученными до и после её запроса. Пропорции сохранены, SVG-код не менялся. Два официальных рисунка тоже отличаются формой тела, хвостом, положением ног и фоном.

Рис. 1

Рис. 1

Рис. 1. OrcaRouter. Все четыре признака совпадают. Различаются форма тела, крылья, хвост и положение педалей; спицы есть на всех трёх рисунках.

Рис. 2

Рис. 2

Рис. 2. TeamoRouter. Все четыре признака совпадают, на обоих колёсах видны спицы. В горловом мешке нарисована рыба, позади велосипеда — линии движения.

Рис. 3

Рис. 3

Рис. 3. OpenRouter. Есть различие: на обоих колёсах нет спиц. При этом понятно, что на рисунке пеликан, который едет на велосипеде.

Рис. 4

Рис. 4

Рис. 4. Token Harbor. Есть различие: на обоих колёсах нет спиц. Остальные три признака совпадают. Форма шеи и положение ног также отличаются от официальных рисунков.

Рис. 5

Рис. 5

Рис. 5. NaraRouter. В центре показана заглушка, а не ответ модели. Пробный запрос завершился ошибкой [2] на стороне upstream-сервиса, основной запрос пропущен. Сравнить изображения нельзя.

Эксперимент 2. Фламинго на моноцикле

В тот же день я заменил пеликана на фламинго, а велосипед — на моноцикл:

Generate an SVG of a flamingo riding a unicycle. Output only the SVG code.

Модель, параметры, порядок платформ и четыре критерия оставлены прежними. Для этой задачи получена новая пара официальных ответов. Запрос к NaraRouter также был пропущен; остальные шесть вызовов завершились успешно и дали полные ответы. На рис. 6–10 используется общая контрольная пара именно для фламинго, а не ответы из теста с пеликаном.

На рисунках четырёх доступных платформ и в обоих официальных ответах можно узнать фламинго, который едет на моноцикле; видны одно колесо и спицы. Сами контрольные рисунки отличаются цветом рамы, изгибами ног, формой хвоста и плотностью спиц. Совпадение по структуре не означает, что картинки одинаковы.

Рис. 6

Рис. 6

Рис. 6. OrcaRouter. Все четыре признака совпадают. Рама красная, форма крыла и хвоста отличается от официальных рисунков.

Рис. 7

Рис. 7

Рис. 7. TeamoRouter. Все четыре признака совпадают. Рама синяя, ноги согнуты иначе, слева добавлены линии движения.

Рис. 8

Рис. 8

Рис. 8. OpenRouter. Все четыре признака совпадают. Отличаются синяя рама, положение ног и солнца.

Рис. 9

Рис. 9

Рис. 9. Token Harbor. Все четыре признака совпадают. Рама красная; отличаются форма тела, контур крыла и положение педалей.

Рис. 10

Рис. 10

Рис. 10. NaraRouter. Пригодного ответа нет, поэтому совпадение не оценивается. Заглушка лишь сохраняет место платформы в сравнении.

Итоги двух SVG-тестов

Платформа

Пеликан на велосипеде

Фламинго на моноцикле

Официальный API Anthropic

Контрольные ответы до и после

Контрольные ответы до и после

OrcaRouter

Совпало ✅

Совпало ✅

TeamoRouter

Совпало ✅

Совпало ✅

OpenRouter

Есть различие: нет спиц ❌

Совпало ✅

Token Harbor

Есть различие: нет спиц ❌

Совпало ✅

NaraRouter

Ошибка сервиса; сравнение не выполнено

Ошибка сервиса; сравнение не выполнено

Таблица 1. Результаты относятся к показанным в статье образцам. Совпадение относится только к четырём структурным признакам, а не к рисункам целиком. Платформы перечислены без ранжирования.

В тесте с пеликаном у OpenRouter и Token Harbor нет спиц, тогда как в обоих контрольных ответах они есть. По этим образцам нельзя определить, насколько устойчиво это различие. В тесте с фламинго четыре доступные платформы совпали с официальными ответами по всем четырём признакам. У NaraRouter нет пригодного ответа, поэтому оценить совпадение нельзя.

Если у вас есть более надёжные способы сравнения моделей, напишите в комментариях. Попробую их в следующих тестах.

Автор: Corkyz0011

Источник [3]


Сайт-источник BrainTools: https://www.braintools.ru

Путь до страницы источника: https://www.braintools.ru/article/37945

URLs in this post:

[1] предыдущей статье о двух SVG-тестах Astra: https://habr.com/ru/articles/1099304/

[2] ошибкой: http://www.braintools.ru/article/4192

[3] Источник: https://habr.com/ru/articles/1102976/?utm_campaign=1102976&utm_source=habrahabr&utm_medium=rss

www.BrainTools.ru

Rambler's Top100