پیش نمایش محتوای اولیه ارقام، جزئیات نویسنده، ادعاهای محصول و نمونههای API در انتظار تأیید هستند. نمونه ها دستورالعمل های یکپارچه سازی تایید نشده اند.
تأخیر، هزینه، طول زمینه، قابلیت اطمینان تماس با ابزار - ما سه مورد بزرگ را در سناریوهای دنیای واقعی 6 محک می زنیم.
ما سه خانواده مرزی پیشرو را از طریق شش سناریوی تولیدی با دستورات یکسان، دمای یکسان، در همان روز، از طریق یک دروازه هدایت کردیم. در اینجا چیزی است که آنها را از هم جدا می کند.
سناریوها
- بازساز کد چند فایلی با توکن های زمینه 180k
- استخراج ساختار یافته از فاکتورهای نامرتب به یک طرح دقیق JSON
- پاسخ پشتیبانی مشتری با محدودیت صدا و تماس ابزار
- خلاصهسازی اسناد طولانی در توکنهای 600k
- حلقه عامل تماس زنجیرهای از ابزار، هشت قدم عمیق
- پیش نویس خلاقانه بلند با راهنمای سبک
چیزی که ما پیدا کردیم
قابلیت اطمینان تماس با ابزار گسترده ترین شکاف است. در حلقه عامل هشت مرحلهای، بهترین مدل اجرای 94% را بدون تماس نادرست تکمیل کرد. بدترین در 71% بود. در نسل تک چرخشی ساده، این سه خانواده در چند نقطه از یکدیگر قرار دارند و انتخاب باید به قیمت و تاخیر بستگی داشته باشد.
اگر حجم کاری شما یک بار سریع و یک جواب است، هزینه را انتخاب کنید. اگر عاملی است، قابلیت اطمینان تماس با ابزار را انتخاب کنید و قیمت را بپذیرید - تلاش مجدد گرانتر از مدل بهتر است.
یک خط مشی مسیریابی پیش فرض
{
"routes": [
{ "match": "tools:true", "model": "claude-sonnet-4-5" },
{ "match": "context>400000", "model": "gemini-2.5-pro" },
{ "match": "latency<300ms", "model": "qwen-3.8-flash" },
{ "default": "gpt-5" }
]
}
از آنجا شروع کنید، سپس به معیارهای کیفیت دروازه در هر مسیر اجازه دهید به شما بگوید کجا باید منحرف شوید. سه ماهه مجدداً ارزیابی کنید - در سال گذشته سفارش دو بار تغییر کرده است.