Aperçu du contenu du prototype. Les figures, les détails de l'auteur, les revendications du produit et les exemples API sont en attente de vérification ; les exemples ne sont pas des instructions d’intégration confirmées.
Nos données provenant des appels quotidiens 140M montrent que la mise en cache sémantique élimine les requêtes redondantes. Voici comment le taux de réussite évolue en fonction du trafic.
Lors des appels quotidiens 140M sur la passerelle Starsg, les invites 31% sont presque des doublons d'une demande que nous avons traitée au cours des heures 24 précédentes. La mise en cache de correspondance exacte en capture à peine un tiers. La mise en cache sémantique rattrape le reste – et il s’agit de la plus grande réduction d’éléments de ligne que la plupart des équipes peuvent réaliser sans modifier de modèle.
Qu'est-ce qui compte comme un accès au cache ?
Nous intégrons chaque invite entrante, recherchons dans l'index vectoriel du locataire et traitons un résultat comme un succès lorsque la similarité cosinusoïdale efface un seuil par itinéraire. La valeur par défaut est 0.97 pour les recherches factuelles et 0.99 pour tout ce que l'appelant marque comme génératif. En dessous du seuil, la requête va en amont et la réponse est réécrite dans l'index.
- Trafic d'assistance et de FAQ : taux de réussite de 52% – les mêmes vingt questions dominent
- Enrichissement du catalogue de produits : taux de réussite du 38%, piloté par des descriptions répétées des SKU
- Assistance au code : taux de réussite 19% ; les invites comportent un contexte de fichier unique
- Chat ouvert : taux de réussite de 6% – la mise en cache n'est pas le levier ici
Comment le taux de réussite évolue avec le trafic
Le taux de réussite est fonction de la densité rapide et non du volume brut. Une charge de travail avec appels 10k/jour et une charge avec appels 10M/jour convergent vers le même taux une fois que l'index a vu des invites distinctes à peu près 50k. Ce qui change, c'est le temps nécessaire pour atteindre ce point : les grands locataires se réchauffent en quelques heures, les petits en quelques semaines.
En moyenne sur tous les locataires activés pour le cache, la mise en cache sémantique a supprimé 41% des jetons en amont facturables au dernier trimestre. Latence ajoutée médiane sur un hit : 11ms.
L'allumer
client.chat.completions.create(
model="claude-sonnet-4-5",
messages=messages,
extra_body={
"amplink": {
"cache": {"mode": "semantic", "threshold": 0.97, "ttl": 86400}
}
},
)
Définissez le seuil de manière prudente, surveillez l'en-tête servi à partir du cache pendant une semaine, puis relâchez-le route par route. Les équipes qui s'ajustent par itinéraire plutôt que globalement obtiennent des points 8-12 plus élevés en termes de taux de réussite à la même barre de qualité.