レイテンシ、コスト、コンテキストの長さ、ツール呼び出しの信頼性 - 6 の現実世界のシナリオ全体で、大きな 3 つをベンチマークします。
私たちは、同じプロンプト、同じ温度、同じ日、同じゲートウェイを経由して、6 つの本番形式のシナリオを通じて 3 つの主要なフロンティア ファミリを実行しました。実際にそれらを区別するものは次のとおりです。
シナリオ
- コンテキストの 180k トークンを使用したマルチファイル コードのリファクタリング
- 乱雑な請求書から厳密な JSON スキーマへの構造化された抽出
- カスタマー サポートはトーンの制約とツール コールを返信します。
- 600k トークンでの長い文書の要約
- ツール呼び出しのチェーン エージェント ループ、深さ 8 ステップ
- スタイルガイドを使用したクリエイティブな長文ドラフト
私たちが見つけたこと
ツール呼び出しの信頼性が最も大きなギャップです。 8 ステップのエージェント ループでは、最良のモデルは不正な呼び出しを行わずに 94% の実行を完了しました。最悪は71%でした。シンプルなシングルターン世代では、3 つのファミリーは互いに数ポイント以内にあり、選択は価格とレイテンシに帰着するはずです。
ワークロードが 1 つのプロンプト入力と 1 つの応答出力である場合は、コストを重視します。エージェントの場合は、ツール呼び出しの信頼性を重視し、その価格を受け入れます。再試行のコストは、より優れたモデルよりも高くなります。
デフォルトのルーティングポリシー
{
"routes": [
{ "match": "tools:true", "model": "claude-sonnet-4-5" },
{ "match": "context>400000", "model": "gemini-2.5-pro" },
{ "match": "latency<300ms", "model": "qwen-3.8-flash" },
{ "default": "gpt-5" }
]
}
そこから始めて、ゲートウェイのルートごとの品質メトリクスにどこから逸脱すべきかを教えてもらいます。四半期ごとに再評価します。昨年、順序が 2 回変更されました。