Opus 5.5, не Claude 3 Opus: у двух из пяти роутеров ответ расходится с Anthropic

Что проверяли на пеликане и фламинго?

Роутер, или API-роутер, это сервис-посредник: он открывает доступ к чужим моделям через один ключ и один счёт, примерно как агрегатор такси работает поверх разных таксопарков. Официальный API (программный вход, через который сервис обращается к модели напрямую у разработчика) дали в качестве контроля. Автор задал модели два одинаковых задания у Anthropic и у пяти посредников: Token Harbor, TeamoRouter, OpenRouter, OrcaRouter и NaraRouter.

Задания простые. Модель должна была нарисовать картинку в формате SVG, то есть картинку, записанную текстом-кодом, которую браузер превращает в изображение. Первый промпт: Generate an SVG of a pelican riding a bicycle. Output only the SVG code. («Нарисуй в SVG пеликана на велосипеде, выведи только код»). Во втором пеликана заменили на фламинго, а велосипед на моноцикл.

Критерии автор зафиксировал заранее, их четыре:

• узнаётся ли заданная птица;
• верно ли нарисован транспорт и число колёс;
• видно ли, что птица именно едет;
• есть ли спицы.

Спицы в промпте не требовались, поэтому их отсутствие автор называет «различием», а не провалом. Условия у всех запросов были одинаковыми. Лимит составил 6000 выходных токенов (токен, это кусочек слова, в которых модель считает текст). Системного промпта, скрытой инструкции перед запросом, не было, как и истории переписки. Параметры вроде temperature, которые отвечают за степень «творчества» модели, не передавали.

Официальный API опрашивали до и после каждого роутера. Каждый ответ посредника сравнивали с этой парой контрольных рисунков.

Аргументы за: роутер отдаёт ту же модель

• В тесте с фламинго все четыре ответившие платформы совпали с контролем по всем четырём признакам. Отличались только цвет рамы, изгиб ног, хвост и положение солнца.
• В тесте с пеликаном OrcaRouter и TeamoRouter совпали полностью. У TeamoRouter модель даже дорисовала рыбу в горловом мешке и линии движения.
• Даже у OpenRouter и Token Harbor пеликан узнаётся и едет на велосипеде. Не хватает только спиц, которых никто не просил.
• Два официальных рисунка Anthropic тоже не совпадают между собой: у них разные форма тела, хвост, положение ног и фон. Разброс в деталях нормален и для прямого доступа.

Аргументы против: одно имя не гарантирует одну работу

• Спицы пропали ровно у двух посредников, тогда как оба контрольных ответа их содержали. По одному образцу нельзя сказать, случайность это или устойчивая особенность.
• NaraRouter на пробный запрос вернул код HTTP 200 (сервер сообщает «всё в порядке»), но внутри потока пришла ошибка upstream_error, сбой на стороне поставщика модели. Ответа не было, а снаружи запрос выглядел успешным.
• Совпадение внутренних настроек платформ по умолчанию автор не проверял. Даже идентификатор модели у всех записан по-разному: claude-opus-5-5, anthropic/claude-opus-5.5, claude-opus-5.5.

Совпадение по структуре не означает, что картинки одинаковы. : Автор теста, имя в материале не указано

Важная деталь от меня: автор сам ограничивает выводы показанными образцами и прямо просит в комментариях предложить более надёжный способ сравнения. Это не рейтинг роутеров, платформы в итоговой таблице перечислены без ранжирования.

Что делать с этим прямо сейчас, по ролям?

Автору Дзена. Если вы пишете или рисуете через посредника, заведите свой контрольный промпт под вашу задачу. Прогоняйте его раз в месяц и сравнивайте с прошлым результатом.

Маркетологу. Различие в мелочах вроде спиц на картинке похоже на пропущенный пункт в техзадании к тексту. Проверяйте, что модель выполняет ваши неявные требования, а не только прямые.

Предпринимателю РФ и СНГ. Код «успешно» ещё не значит, что ответ пришёл, поэтому в автоматизации проверяйте содержимое ответа, а не статус. Из доступных в РФ аналогов для параллельной проверки подойдут YandexGPT и GigaChat.

Дальше ждём продолжения: автор обещал опробовать в следующих тестах методы, которые предложат читатели. Чтобы отличить случайный разброс от настоящей разницы между посредниками, понадобятся десятки запросов на платформу, а не по одному. Кто начнёт копить собственные эталонные ответы уже сейчас, тот первым заметит, если роутер начнёт отдавать не то, за что вы платите.