Pratinjau konten prototipe. Gambar, detail penulis, klaim produk, dan contoh API menunggu verifikasi; contoh instruksi integrasi tidak dikonfirmasi.
Data kami dari panggilan harian 140M menunjukkan bahwa caching semantik menghilangkan permintaan yang berlebihan. Berikut ini skala rasio hit dengan lalu lintas.
Pada panggilan harian 140M di gateway Starsg, perintah 31% hampir duplikat dari permintaan yang kami layani pada jam 24 sebelumnya. Caching pencocokan tepat hanya menangkap sepertiga dari jumlah tersebut. Caching semantik menangkap sisanya — dan ini merupakan pengurangan item baris terbesar yang dapat dilakukan sebagian besar tim tanpa mengubah model.
Apa yang dianggap sebagai cache hit
Kami menyematkan setiap perintah yang masuk, mencari indeks vektor milik penyewa, dan memperlakukan hasilnya sebagai hit ketika kesamaan kosinus memenuhi ambang batas per rute. Standarnya adalah 0.97 untuk pencarian faktual dan 0.99 untuk apa pun yang ditandai oleh penelepon sebagai generatif. Di bawah ambang batas, permintaan diteruskan ke hulu dan respons ditulis kembali ke indeks.
- Lalu lintas dukungan dan FAQ: Tingkat hit 52% — dua puluh pertanyaan yang sama mendominasi
- Pengayaan katalog produk: Tingkat keberhasilan 38%, didorong oleh deskripsi SKU yang berulang
- Bantuan kode: tingkat hit 19%; petunjuknya membawa konteks file yang unik
- Obrolan terbuka: tingkat hit 6% — caching bukanlah faktor utama di sini
Bagaimana tingkat hit disesuaikan dengan lalu lintas
Tingkat hit adalah fungsi dari kepadatan cepat, bukan volume mentah. Beban kerja pada panggilan 10k/hari dan beban kerja pada panggilan/hari 10M menyatu ke tingkat yang sama setelah indeks melihat kira-kira permintaan 50k yang berbeda. Perubahan volume yang terjadi adalah waktu untuk mencapai titik tersebut: penyewa besar melakukan pemanasan dalam hitungan jam, penyewa kecil dalam hitungan minggu.
Rata-rata di seluruh penyewa yang mendukung cache, cache semantik menghapus 41% token upstream yang dapat ditagih pada kuartal terakhir. Median menambahkan latensi pada hit: 11ms.
Menyalakannya
client.chat.completions.create(
model="claude-sonnet-4-5",
messages=messages,
extra_body={
"amplink": {
"cache": {"mode": "semantic", "threshold": 0.97, "ttl": 86400}
}
},
)
Tetapkan ambang batas secara konservatif, perhatikan header yang disajikan dari cache selama seminggu, lalu kendurkan rute demi rute. Tim yang menyetel per rute dibandingkan mendaratkan 8-12 secara global memiliki poin hit rate yang lebih tinggi pada standar kualitas yang sama.