Prototip içerik önizlemesi. Şekiller, yazar ayrıntıları, ürün iddiaları ve API örnekleri doğrulamayı beklemektedir; örnekler onaylanmış entegrasyon talimatları değildir.
140M günlük çağrılarından elde ettiğimiz veriler, anlamsal önbelleğe almanın gereksiz istekleri ortadan kaldırdığını göstermektedir. İsabet oranının trafiğe göre nasıl ölçekleneceği aşağıda açıklanmıştır.
Starsg ağ geçidindeki 140M günlük çağrılarında, 31% istemleri, önceki 24 saatlerinde sunduğumuz isteğin neredeyse kopyalarıdır. Tam eşlemeli önbellekleme bunların ancak üçte birini yakalar. Anlamsal önbelleğe alma geri kalanını yakalar ve bu, çoğu ekibin bir modeli değiştirmeden yapabileceği en büyük satır öğesi azaltımıdır.
Önbellek isabeti olarak sayılanlar
Gelen her istemi yerleştirir, kiracının kendi vektör indeksini ararız ve kosinüs benzerliği rota başına eşiği aştığında sonucu bir isabet olarak ele alırız. Gerçek aramalar için varsayılan değer 0.97 ve arayanın üretken olarak işaretlediği her şey için 0.99'dir. Eşiğin altında istek yukarıya doğru gider ve yanıt indekse geri yazılır.
- Destek ve SSS trafiği: 52% isabet oranı — aynı yirmi soru hakimdir
- Ürün kataloğunun zenginleştirilmesi: Tekrarlanan SKU açıklamalarıyla sağlanan 38% isabet oranı
- Kod yardımı: 19% isabet oranı; istemler benzersiz dosya bağlamı taşır
- Açık uçlu sohbet: 6% isabet oranı — önbelleğe alma burada kaldıraç değildir
İsabet oranı trafiğe göre nasıl ölçeklenir?
İsabet oranı ham hacmin değil anlık yoğunluğun bir fonksiyonudur. 10k çağrı/gün ve 10M çağrı/gün düzeyindeki bir iş yükü, dizin kabaca 50k farklı istemleri gördüğünde aynı orana yakınlaşır. Hacimde değişen şey, o noktaya ulaşma süresidir: Büyük kiracılar saatler içinde, küçük kiracılar ise haftalar içinde ısınır.
Önbellek özellikli tüm kiracıların ortalaması alındığında, anlamsal önbelleğe alma, geçen çeyrekte 41% faturalandırılabilir yukarı akış belirteçlerini kaldırdı. Medyan bir isabette gecikme ekledi: 11m'ler.
Açma
client.chat.completions.create(
model="claude-sonnet-4-5",
messages=messages,
extra_body={
"amplink": {
"cache": {"mode": "semantic", "threshold": 0.97, "ttl": 86400}
}
},
)
Eşiği ihtiyatlı bir şekilde ayarlayın, önbellekten sunulan başlığı bir hafta boyunca izleyin, ardından rota rota gevşetin. Küresel olarak 8-12 yerine rota başına ayarlama yapan takımlar, aynı kalite çıtasında isabet oranında daha yüksek puanlar elde eder.