Độ trễ, chi phí, độ dài ngữ cảnh, độ tin cậy của lệnh gọi công cụ — chúng tôi đánh giá ba yếu tố lớn trong 6 tình huống trong thế giới thực.
Chúng tôi đã điều hành ba dòng sản phẩm biên giới hàng đầu thông qua sáu kịch bản hình thành sản xuất trên các thời điểm giống nhau, cùng nhiệt độ, cùng ngày, định tuyến qua cùng một cửa ngõ. Đây là những gì thực sự tách biệt chúng.
Các kịch bản
- Bộ tái cấu trúc mã đa tập tin với 180k mã thông báo ngữ cảnh
- Trích xuất có cấu trúc từ các hóa đơn lộn xộn thành lược đồ JSON nghiêm ngặt
- Trả lời hỗ trợ khách hàng với các giới hạn về âm thanh và lệnh gọi công cụ
- Tóm tắt tài liệu dài với giá 600k token
- Vòng lặp tác nhân gọi chuỗi công cụ, sâu tám bước
- Soạn thảo dạng dài sáng tạo với hướng dẫn về văn phong
Những gì chúng tôi tìm thấy
Độ tin cậy của lệnh gọi công cụ là khoảng cách lớn nhất. Trong vòng lặp tác nhân tám bước, mô hình tốt nhất đã hoàn thành 94% số lần chạy mà không có lệnh gọi không đúng định dạng; tệ nhất là ở mức 71%. Ở thế hệ một lượt đơn giản, ba họ cách nhau một vài điểm và sự lựa chọn sẽ phụ thuộc vào giá cả và độ trễ.
Nếu khối lượng công việc của bạn là một lời nhắc vào, một câu trả lời ra, hãy chọn chi phí. Nếu nó là tác nhân, hãy chọn độ tin cậy của cuộc gọi công cụ và chấp nhận giá - số lần thử lại đắt hơn mô hình tốt hơn.
Chính sách định tuyến mặc định
{
"routes": [
{ "match": "tools:true", "model": "claude-sonnet-4-5" },
{ "match": "context>400000", "model": "gemini-2.5-pro" },
{ "match": "latency<300ms", "model": "qwen-3.8-flash" },
{ "default": "gpt-5" }
]
}
Bắt đầu từ đó, sau đó để số liệu chất lượng trên mỗi tuyến đường của cổng cho bạn biết điểm nào cần đi chệch. Đánh giá lại hàng quý - thứ tự đã thay đổi hai lần trong năm qua.