Pratinjau konten prototipe. Gambar, detail penulis, klaim produk, dan contoh API menunggu verifikasi; contoh instruksi integrasi tidak dikonfirmasi.
Latensi, biaya, panjang konteks, keandalan panggilan alat — kami membuat tolok ukur tiga besar dalam skenario dunia nyata 6.
Kami menjalankan tiga keluarga terdepan melalui enam skenario berbentuk produksi dengan perintah yang sama, suhu yang sama, hari yang sama, dan disalurkan melalui gerbang yang sama. Inilah yang sebenarnya memisahkan mereka.
Skenarionya
- Refaktor kode multi-file dengan token konteks 180k
- Ekstraksi terstruktur dari faktur yang berantakan ke dalam skema JSON yang ketat
- Balasan dukungan pelanggan dengan batasan nada dan panggilan alat
- Peringkasan dokumen panjang pada token 600k
- Lingkaran agen panggilan rantai alat, sedalam delapan langkah
- Penyusunan kreatif bentuk panjang dengan panduan gaya
Apa yang kami temukan
Keandalan panggilan alat adalah kesenjangan terluas. Pada loop agen delapan langkah, model terbaik menyelesaikan proses 94% tanpa format panggilan yang salah; yang terburuk adalah di 71%. Pada generasi putaran tunggal, ketiga keluarga berada dalam jarak beberapa poin satu sama lain dan pilihannya harus tergantung pada harga dan latensi.
Jika beban kerja Anda adalah satu perintah masuk, satu jawaban keluar, pilih berdasarkan biaya. Jika bersifat agen, pilihlah keandalan alat dan terima harganya — percobaan ulang lebih mahal daripada model yang lebih baik.
Kebijakan perutean default
{
"routes": [
{ "match": "tools:true", "model": "claude-sonnet-4-5" },
{ "match": "context>400000", "model": "gemini-2.5-pro" },
{ "match": "latency<300ms", "model": "qwen-3.8-flash" },
{ "default": "gpt-5" }
]
}
Mulailah dari sana, lalu biarkan metrik kualitas per rute gateway memberi tahu Anda di mana harus menyimpang. Evaluasi ulang setiap triwulan — pemesanan telah berubah dua kali dalam setahun terakhir.