Prototip içerik önizlemesi. Şekiller, yazar ayrıntıları, ürün iddiaları ve API örnekleri doğrulamayı beklemektedir; örnekler onaylanmış entegrasyon talimatları değildir.
Gecikme, maliyet, bağlam uzunluğu, araç çağrısı güvenilirliği — 6 gerçek dünya senaryolarında büyük üçü karşılaştırıyoruz.
Önde gelen üç sınır ailesini, aynı istemlerle, aynı sıcaklıkta, aynı gün, aynı ağ geçidinden yönlendirilen altı üretim şekilli senaryo üzerinden çalıştırdık. Aslında onları ayıran şey budur.
Senaryolar
- 180k bağlam belirteçleriyle çoklu dosya kod yeniden düzenleyicisi
- Dağınık faturalardan katı bir JSON şemasına yapılandırılmış çıkarma
- Ton kısıtlamaları ve araç çağrısıyla müşteri desteği yanıtı
- 600k tokenlerinde uzun belge özeti
- Araç çağrıları zinciri temsilci döngüsü, sekiz adım derinliğinde
- Stil kılavuzuyla yaratıcı uzun biçimli taslak oluşturma
Ne bulduk?
Araç çağrısı güvenilirliği en büyük boşluktur. Sekiz adımlı temsilci döngüsünde, en iyi model hatalı biçimlendirilmiş bir çağrı olmadan 94% çalıştırmayı tamamladı; en kötüsü 71%'deydi. Basit tek dönüşlü nesilde, üç aile birbirine birkaç puan uzaklıkta ve seçim fiyat ve gecikmeye bağlı olmalı.
İş yükünüz bir istem girişi, bir yanıt çıkışı ise, maliyeti seçin. Aracılık yapıyorsa, araç çağrısı güvenilirliğini seçin ve fiyatı kabul edin; yeniden denemeler, daha iyi modelden daha pahalıdır.
Varsayılan yönlendirme politikası
{
"routes": [
{ "match": "tools:true", "model": "claude-sonnet-4-5" },
{ "match": "context>400000", "model": "gemini-2.5-pro" },
{ "match": "latency<300ms", "model": "qwen-3.8-flash" },
{ "default": "gpt-5" }
]
}
Buradan başlayın, ardından ağ geçidinin rota başına kalite ölçümlerinin size nerede sapmanız gerektiğini söylemesine izin verin. Üç ayda bir yeniden değerlendirin; sıralama geçen yıl iki kez değişti.