Optimalisasi Biaya

Bagaimana Caching Semantik Memotong Biaya AI API sebesar 41%

Pratinjau konten prototipe. Gambar, detail penulis, klaim produk, dan contoh API menunggu verifikasi; contoh instruksi integrasi tidak dikonfirmasi.

Data kami dari panggilan harian 140M menunjukkan bahwa caching semantik menghilangkan permintaan yang berlebihan. Berikut ini skala rasio hit dengan lalu lintas.

Pada panggilan harian 140M di gateway Starsg, perintah 31% hampir duplikat dari permintaan yang kami layani pada jam 24 sebelumnya. Caching pencocokan tepat hanya menangkap sepertiga dari jumlah tersebut. Caching semantik menangkap sisanya — dan ini merupakan pengurangan item baris terbesar yang dapat dilakukan sebagian besar tim tanpa mengubah model.

Apa yang dianggap sebagai cache hit

Kami menyematkan setiap perintah yang masuk, mencari indeks vektor milik penyewa, dan memperlakukan hasilnya sebagai hit ketika kesamaan kosinus memenuhi ambang batas per rute. Standarnya adalah 0.97 untuk pencarian faktual dan 0.99 untuk apa pun yang ditandai oleh penelepon sebagai generatif. Di bawah ambang batas, permintaan diteruskan ke hulu dan respons ditulis kembali ke indeks.

  • Lalu lintas dukungan dan FAQ: Tingkat hit 52% — dua puluh pertanyaan yang sama mendominasi
  • Pengayaan katalog produk: Tingkat keberhasilan 38%, didorong oleh deskripsi SKU yang berulang
  • Bantuan kode: tingkat hit 19%; petunjuknya membawa konteks file yang unik
  • Obrolan terbuka: tingkat hit 6% — caching bukanlah faktor utama di sini

Bagaimana tingkat hit disesuaikan dengan lalu lintas

Tingkat hit adalah fungsi dari kepadatan cepat, bukan volume mentah. Beban kerja pada panggilan 10k/hari dan beban kerja pada panggilan/hari 10M menyatu ke tingkat yang sama setelah indeks melihat kira-kira permintaan 50k yang berbeda. Perubahan volume yang terjadi adalah waktu untuk mencapai titik tersebut: penyewa besar melakukan pemanasan dalam hitungan jam, penyewa kecil dalam hitungan minggu.

Rata-rata di seluruh penyewa yang mendukung cache, cache semantik menghapus 41% token upstream yang dapat ditagih pada kuartal terakhir. Median menambahkan latensi pada hit: 11ms.

Menyalakannya

client.chat.completions.create(
    model="claude-sonnet-4-5",
    messages=messages,
    extra_body={
        "amplink": {
            "cache": {"mode": "semantic", "threshold": 0.97, "ttl": 86400}
        }
    },
)

Tetapkan ambang batas secara konservatif, perhatikan header yang disajikan dari cache selama seminggu, lalu kendurkan rute demi rute. Tim yang menyetel per rute dibandingkan mendaratkan 8-12 secara global memiliki poin hit rate yang lebih tinggi pada standar kualitas yang sama.

This article is an original publication of Starsg Group Inc. All rights reserved. No part of this article may be reproduced, copied, distributed, republished, or otherwise used in any form or by any means without the prior written permission of Starsg Group Inc., except as permitted by applicable law. Copyright © Starsg Group Inc. All Rights Reserved.

Selengkapnya di Optimalisasi Biaya

Starsg vs OpenRouter: Mana yang Lebih Baik untuk Produksi?

10 Okt 2026 · 15 min dibaca

OpenAI API: Harga, Model, dan Cara Memulai

16 Sep 2026 · 11 min dibaca

Starsg vs Direct API: Perbandingan Total Biaya Kepemilikan

24 Agu 2026 · 12 min dibaca