Предварительный просмотр содержимого прототипа. Рисунки, сведения об авторе, заявления о продукте и примеры API ожидают проверки; примеры не являются подтвержденными инструкциями по интеграции.
Задержка, стоимость, длина контекста, надежность вызова инструментов — мы сравниваем большую тройку в реальных сценариях 6.
Мы прогнали три ведущих передовых семейства через шесть производственных сценариев с одинаковыми запросами, одинаковой температурой, в один и тот же день и прошли через один и тот же шлюз. Вот что на самом деле их отличает.
Сценарии
- Рефакторинг многофайлового кода с использованием токенов контекста 180k
- Структурированное извлечение беспорядочных счетов-фактур в строгую схему JSON.
- Ответ службы поддержки клиентов с ограничениями по тону и вызовом инструмента
- Суммирование длинных документов по токенам 600k
- Цикл агента «Цепочка вызовов инструментов», глубина восемь шагов
- Творческий подробный набросок с руководством по стилю.
Что мы нашли
Надежность вызова инструмента — это самый большой пробел. В восьмишаговом цикле агента лучшая модель завершила 94% прогонов без неправильного вызова; худшее было на 71%. При простой одновитковой генерации три семейства находятся в пределах нескольких пунктов друг от друга, и выбор должен сводиться к цене и задержке.
Если ваша рабочая нагрузка — одно приглашение и один ответ, выбирайте стоимость. Если это агент, выберите надежность вызова инструмента и примите цену — повторные попытки обходятся дороже, чем лучшая модель.
Политика маршрутизации по умолчанию
{
"routes": [
{ "match": "tools:true", "model": "claude-sonnet-4-5" },
{ "match": "context>400000", "model": "gemini-2.5-pro" },
{ "match": "latency<300ms", "model": "qwen-3.8-flash" },
{ "default": "gpt-5" }
]
}
Начните с этого, а затем позвольте показателям качества шлюза на каждом маршруте указать вам, где отклониться. Переоценивайте ежеквартально — за последний год порядок менялся дважды.