Dữ liệu của chúng tôi từ 140 triệu cuộc gọi hàng ngày cho thấy rằng bộ nhớ đệm ngữ nghĩa sẽ loại bỏ các yêu cầu dư thừa. Đây là cách tỷ lệ truy cập tăng theo lưu lượng truy cập.
Trong 140 triệu cuộc gọi hàng ngày trên cổng Starsg, 31% lời nhắc gần như trùng lặp với yêu cầu mà chúng tôi đã phân phát trong 24 giờ trước. Bộ nhớ đệm khớp chính xác chỉ bắt được một phần ba trong số đó. Bộ nhớ đệm ngữ nghĩa sẽ xử lý phần còn lại — và đó là mức giảm chi tiết đơn hàng lớn nhất mà hầu hết các nhóm có thể thực hiện mà không cần thay đổi mô hình.
Điều gì được tính là một lần truy cập bộ đệm
Chúng tôi nhúng từng lời nhắc đến, tìm kiếm chỉ mục vectơ của chính đối tượng thuê và xử lý kết quả như một lần truy cập khi độ tương tự cosin vượt qua ngưỡng trên mỗi tuyến đường. Giá trị mặc định là 0,97 cho tra cứu thực tế và 0,99 cho bất kỳ thứ gì mà người gọi đánh dấu là tổng quát. Dưới ngưỡng, yêu cầu sẽ ngược dòng và phản hồi được ghi lại vào chỉ mục.
- Lưu lượng hỗ trợ và câu hỏi thường gặp: tỷ lệ trúng 52% — 20 câu hỏi giống nhau chiếm ưu thế
- Làm phong phú danh mục sản phẩm: tỷ lệ trúng 38%, được thúc đẩy bởi các mô tả SKU lặp lại
- Hỗ trợ mã: tỷ lệ trúng 19%; lời nhắc mang bối cảnh tập tin duy nhất
- Trò chuyện mở: Tỷ lệ trúng 6% — bộ nhớ đệm không phải là đòn bẩy ở đây
Tỷ lệ truy cập thay đổi như thế nào theo lưu lượng truy cập
Tốc độ truy cập là một hàm của mật độ tức thời, không phải khối lượng thô. Một khối lượng công việc với 10 nghìn cuộc gọi/ngày và một khối lượng công việc với 10 triệu cuộc gọi/ngày sẽ hội tụ về cùng một tỷ lệ sau khi chỉ mục đã nhìn thấy khoảng 50 nghìn lời nhắc riêng biệt. Khối lượng thay đổi như thế nào là thời gian để đạt đến điểm đó: những người thuê lớn khởi động trong vài giờ, những người thuê nhỏ trong vài tuần.
Tính trung bình trên tất cả các đối tượng thuê kích hoạt bộ nhớ đệm, bộ nhớ đệm ngữ nghĩa đã loại bỏ 41% mã thông báo ngược dòng có thể tính phí trong quý trước. Độ trễ được thêm vào trung bình trên một lần truy cập: 11 mili giây.
Bật nó lên
client.chat.completions.create(
model="claude-sonnet-4-5",
messages=messages,
extra_body={
"amplink": {
"cache": {"mode": "semantic", "threshold": 0.97, "ttl": 86400}
}
},
)
Đặt ngưỡng một cách thận trọng, xem tiêu đề được cung cấp từ bộ đệm trong một tuần, sau đó nới lỏng nó theo từng tuyến. Các đội điều chỉnh theo từng tuyến đường thay vì trên toàn cầu sẽ đạt được tỷ lệ trúng đích cao hơn 8-12 điểm ở cùng một thanh chất lượng.