Các mẫu Flash rẻ hơn 10× nhưng khoảng cách về chất lượng có quan trọng không? Chúng tôi đã thử nghiệm 4 cấp độ mô hình cho các nhiệm vụ mã hóa, lý luận và sáng tạo.
Các mẫu loại Flash có giá khoảng bằng 1/10 so với các mẫu phổ biến và đáp ứng trong 1/3 thời gian. Câu hỏi không bao giờ là liệu chúng có tệ hơn hay không mà là liệu khoảng cách có xuất hiện trong nhiệm vụ cụ thể của bạn hay không.
Nơi khoảng cách biến mất
- Phân loại và định tuyến: không có sự khác biệt có thể đo lường được trên 200 ví dụ được gắn nhãn trong lời nhắc
- Trích xuất theo lược đồ nghiêm ngặt: flash khớp với biên giới khi bạn cung cấp lược đồ một cách rõ ràng
- Tóm tắt ngắn gọn dưới 4k token: trong vòng 2 điểm tùy theo sở thích của con người
- Dịch các cặp ngôn ngữ thông dụng: không thể phân biệt được khi xem xét mù quáng
Nơi nào không
Suy luận nhiều bước, mã phải biên dịch và bất kỳ điều gì yêu cầu mô hình nhận thấy rằng câu hỏi có sai sót một cách tinh vi. Trên điểm chuẩn mã hóa của chúng tôi, cấp biên giới đã vượt qua 78% nhiệm vụ và cấp flash 44% - một khoảng cách không cần nhắc nhở đã được đóng lại.
Mô hình phù hợp là một tầng: các câu trả lời chớp nhoáng, trình xác thực rẻ tiền kiểm tra và chỉ có thất bại mới leo thang. Điều đó chiếm phần lớn số tiền tiết kiệm được và hầu như không bị giảm chất lượng.
Thực hiện phân tầng
resp = client.chat.completions.create(
model="qwen-3.8-flash",
messages=messages,
extra_body={"amplink": {"escalate": {
"to": "gpt-5",
"when": "schema_invalid or confidence < 0.7"
}}},
)
Trong số những người thuê chạy theo tầng, 83% lưu lượng truy cập kết thúc ở tầng flash. Chi phí tổng hợp gần bằng 2,4 lần giá flash thay vì gấp 10 lần giá biên giới.