معاينة محتوى النموذج الأولي. الأرقام وتفاصيل المؤلف ومطالبات المنتج وأمثلة API في انتظار التحقق؛ الأمثلة ليست تعليمات التكامل المؤكدة.
زمن الاستجابة، والتكلفة، وطول السياق، وموثوقية استدعاء الأداة - نحن نقيس الثلاثة الكبرى عبر سيناريوهات 6 في العالم الحقيقي.
قمنا بتشغيل العائلات الحدودية الثلاث الرائدة من خلال ستة سيناريوهات على شكل إنتاج بناءً على مطالبات متطابقة، ونفس درجة الحرارة، ونفس اليوم، وتم توجيهها عبر نفس البوابة. وهنا ما يفصل بينهما في الواقع.
السيناريوهات
- إعادة بناء الكود متعدد الملفات مع الرموز المميزة للسياق 180k
- استخراج منظم من الفواتير الفوضوية إلى مخطط JSON الصارم
- الرد على دعم العملاء مع قيود النغمة واستدعاء الأداة
- تلخيص المستندات الطويلة برموز 600k
- حلقة وكيل استدعاء سلسلة من الأدوات، بعمق ثماني خطوات
- صياغة إبداعية طويلة مع دليل الأسلوب
ما وجدناه
تعد موثوقية استدعاء الأداة هي الفجوة الأوسع. في حلقة الوكيل المكونة من ثماني خطوات، أكمل النموذج الأفضل 94% من عمليات التشغيل دون استدعاء غير صحيح؛ الأسوأ كان في 71%. في عملية التوليد أحادية الدورة، تكون العائلات الثلاث على مسافة بضع نقاط من بعضها البعض ويجب أن يعتمد الاختيار على السعر وزمن الوصول.
إذا كان عبء عملك عبارة عن مطالبة واحدة وإجابة واحدة، فاختر التكلفة. إذا كان وكيلًا، فاختر موثوقية استدعاء الأداة واقبل السعر - فإعادة المحاولة تكون أكثر تكلفة من النموذج الأفضل.
سياسة التوجيه الافتراضية
{
"routes": [
{ "match": "tools:true", "model": "claude-sonnet-4-5" },
{ "match": "context>400000", "model": "gemini-2.5-pro" },
{ "match": "latency<300ms", "model": "qwen-3.8-flash" },
{ "default": "gpt-5" }
]
}
ابدأ من هنا، ثم دع مقاييس الجودة الخاصة بالبوابة لكل مسار تخبرك بمكان الانحراف. إعادة التقييم ربع سنوي - لقد تغير الترتيب مرتين في العام الماضي.