Cách chúng tôi xử lý các yêu cầu 1 triệu token mà không có độ trễ tăng đột biến — chiến lược phân chia, giải mã song song và quy trình nén ngữ cảnh.
Một yêu cầu 1M-token không phải là một yêu cầu lớn nhỏ. Việc xử lý ngây thơ tạo ra các đột biến về độ trễ làm gián đoạn mọi thời gian chờ xuôi dòng mà bạn có. Ba kỹ thuật giữ cho p99 ổn định khi bối cảnh phát triển.
Sharding phần điền trước
Prefill là chi phí chiếm ưu thế trong bối cảnh dài và nó hoạt động song song tốt. Chúng tôi phân chia lời nhắc theo ranh giới ngữ nghĩa, đồng thời điền trước các phân đoạn trên các thiết bị và ghép bộ đệm KV trước khi bắt đầu giải mã. Trên 200 nghìn mã thông báo, điều này giúp giảm khoảng 60% thời gian tạo mã thông báo đầu tiên.
Giải mã song song
Bản chất của việc giải mã là tuần tự, nhưng việc giải mã suy đoán với một mô hình nháp nhỏ sẽ phục hồi được phần lớn sự mất mát. Dự thảo đề xuất một số mã thông báo, mục tiêu xác minh trong một lần vượt qua và tỷ lệ chấp nhận trên đầu ra có cấu trúc đạt trên 70%.
Nén bối cảnh
- Loại bỏ bản mẫu soạn sẵn lặp đi lặp lại trên các tài liệu trước khi yêu cầu rời khỏi cổng
- Thả các đoạn truy xuất xuống dưới mức phù hợp thay vì đệm vào một k cố định
- Tóm tắt lại tuổi già hơn đôi mươi qua trong những cuộc trò chuyện dài
Hầu hết các yêu cầu 1 triệu token không cần phải là 1 triệu token. Chất thải có thể nén trung bình trong lưu lượng truy cập của khách hàng là 23% và việc loại bỏ nó vừa nhanh hơn vừa rẻ hơn so với việc phục vụ tốt.
Ngân sách token
Đặt mức trần cố định cho mỗi yêu cầu và ngân sách theo giờ cho mỗi người thuê. Nếu không có cả hai, một vòng lặp tác nhân chạy trốn có thể tiêu tốn công suất của một ngày trong 20 phút — loại sự cố phổ biến nhất mà chúng ta thấy trong khối lượng công việc có ngữ cảnh dài.