Проверка подлинности GPT-6 Astra у пяти зарубежных API-роутеров: пеликан на велосипеде и фламинго на моноцикле

В первой статье я сравнил ответы пяти API-роутеров с ответами официального API OpenAI на наборе из 30 задач. Теперь я продолжаю сравнение на двух SVG-заданиях: нужно нарисовать пеликана на велосипеде и фламинго на моноцикле. Сначала кратко напомню результаты предыдущего теста.

Результаты предыдущего теста

У OrcaRouter, TeamoRouter, OpenRouter и Token Harbor ответы на все 30 задач совпали с обоими ответами OpenAI. У NaraRouter совпали ответы на 25 задач, а в четырёх задачах на перестановки и одной задаче на трассировку кода обнаружились различия. Для каждой задачи я обращался к официальному API до и после вызовов пяти платформ. Подробный разбор есть в первой публикации, здесь приведу только сводную таблицу.

Зачем понадобились ещё два теста

В комментариях к первой статье спросили, не слишком ли проста эта проверка. Вопрос понятен: если несколько моделей дают одинаковые правильные ответы на один и тот же набор задач, по одним этим ответам различить модели нельзя.

Я решил дополнить числовые задачи двумя SVG-заданиями: нарисовать пеликана на велосипеде и фламинго на моноцикле. Ещё в 2024 году Simon Willison использовал промпт про пеликана на велосипеде для сравнения SVG, созданных разными моделями. Здесь я сравниваю ответы пяти платформ, предоставляющих доступ к GPT-6 Astra, с ответами официального API OpenAI. Проверяю, выполнен ли запрос, и отмечаю различия между изображениями.

Эксперимент 1. Пеликан на велосипеде

Вот весь промпт:

Generate an SVG of a pelican riding a bicycle. Output only the SVG code.

Первый эксперимент я провёл 22 октября 2026 года. Во всех запросах была указана модель GPT-6 Astra. Сначала я обратился к официальному API, затем по очереди к пяти платформам и в конце снова к официальному API. Я получил по одному ответу от каждой платформы и два от OpenAI. Всего 7 вызовов без повторных попыток. Лимит вывода — 6000 токенов; параметры temperature и reasoning_effort я, как и прежде, не передавал. Результаты SVG-тестов разбираются отдельно и не учитываются при подсчёте совпадений по 30 задачам.

Все 7 вызовов завершились успешно. Каждый ответ содержал только SVG-код, который удалось разобрать и отрисовать. На рис. 2–6 слева направо показаны первый ответ OpenAI, ответ платформы и второй ответ OpenAI. Во всех пяти сравнениях используется одна и та же пара официальных ответов. Пропорции изображений сохранены, сгенерированный код не менялся.

На всех изображениях я проверяю четыре признака: узнаётся ли заданная птица, изображён ли нужный велосипед или моноцикл, показано ли, что птица едет на нём, и видны ли спицы.

Все семь изображений, два от OpenAI и пять от платформ, показывают пеликана на велосипеде, но различаются деталями. На первом рисунке OpenAI у пеликана красный шарф, на втором шарфа нет. Различаются также форма тела, положение ног и фон. Ниже я сопоставляю результат каждой платформы с двумя результатами OpenAI.

Эксперимент 2. Фламинго на моноцикле

Во второй задаче я заменил пеликана на фламинго, а велосипед — на моноцикл. 25 октября 2026 года я использовал такой промпт:

Generate an SVG of a flamingo riding a unicycle. Output only the SVG code.

Условия те же, что в первом эксперименте: GPT-6 Astra, лимит вывода 6000 токенов. Параметры temperature и reasoning_effort я не передавал. После первого запроса к официальному API я по очереди отправил запросы к OpenRouter, OrcaRouter, NaraRouter, Token Harbor и TeamoRouter, затем снова к OpenAI. Всего 7 вызовов без повторных попыток. Во всех случаях сервер вернул HTTP 200. Ответы содержали только SVG-код, который удалось разобрать и отрисовать.

На рис. 7–11 сохранён тот же порядок: первый ответ OpenAI, ответ платформы, второй ответ OpenAI. Во всех пяти сравнениях используется одна и та же пара ответов официального API на это задание. На первом изображении OpenAI одна нога опирается на педаль, другая вытянута назад; на втором обе ноги опираются на педали. Различаются также перья на голове и фон. В обоих вариантах спицы прорисованы. Само по себе различие в положении ног я не считаю несовпадением.

Итоги: цены и результаты тестов

В таблице сведены цены и результаты двух типов тестов. В двух последних столбцах — совпадение ответов на 30 задач и результаты двух SVG-экспериментов: с пеликаном на велосипеде и фламинго на моноцикле. Цены указаны в долларах США за миллион токенов.

Таблица 1. Сводка цен и результатов тестов. Цены указаны в долларах США за миллион токенов. В столбце «30 задач» указано число ответов, совпавших с обоими ответами OpenAI. В столбце «SVG-рисунки» сведены результаты двух экспериментов по четырём признакам: узнаётся ли заданная птица, изображён ли нужный транспорт, показано ли, что птица едет на нём, и видны ли спицы.

Источники цен: 1. OpenAI — страница модели; 2. OrcaRouter — страница модели; 3. TeamoRouter — текущие тарифы; 4. OpenRouter — страница модели; 5. Token Harbor — страница модели; 6. NaraRouter — тарифы.

В обоих SVG-экспериментах картина оказалась одинаковой. Результаты Astra у OrcaRouter, TeamoRouter, OpenRouter и Token Harbor совпали с двумя результатами Astra, полученными через официальный API OpenAI до и после запросов к платформам. Небольшие различия в деталях есть, но промпт их не задавал. Два рисунка от официального API тоже отличаются друг от друга. Поэтому совпадения общего сюжета достаточно, чтобы считать тест пройденным. На обоих рисунках NaraRouter спиц не видно, поэтому я отметил результат как несовпадение. На рисунке с фламинго также упрощены форма клюва, хвостовое оперение и шатун.

При этом от каждой платформы я получил лишь по одному изображению на задание. По такой выборке пока нельзя оценить, насколько устойчивы различия. Для более строгой проверки выводов нужны повторные запуски и более широкий набор задач. Я также ищу стандартную методику проверки подлинности моделей, применимую к разным версиям OpenAI и Claude. Если у вас есть проверенные методы или идеи, напишите в комментариях. Попробую их в следующих тестах.