Optimisation des coûts

Comment la mise en cache sémantique réduit les coûts de l'IA API d'ici 41%

Aperçu du contenu du prototype. Les figures, les détails de l'auteur, les revendications du produit et les exemples API sont en attente de vérification ; les exemples ne sont pas des instructions d’intégration confirmées.

Nos données provenant des appels quotidiens 140M montrent que la mise en cache sémantique élimine les requêtes redondantes. Voici comment le taux de réussite évolue en fonction du trafic.

Lors des appels quotidiens 140M sur la passerelle Starsg, les invites 31% sont presque des doublons d'une demande que nous avons traitée au cours des heures 24 précédentes. La mise en cache de correspondance exacte en capture à peine un tiers. La mise en cache sémantique rattrape le reste – et il s’agit de la plus grande réduction d’éléments de ligne que la plupart des équipes peuvent réaliser sans modifier de modèle.

Qu'est-ce qui compte comme un accès au cache ?

Nous intégrons chaque invite entrante, recherchons dans l'index vectoriel du locataire et traitons un résultat comme un succès lorsque la similarité cosinusoïdale efface un seuil par itinéraire. La valeur par défaut est 0.97 pour les recherches factuelles et 0.99 pour tout ce que l'appelant marque comme génératif. En dessous du seuil, la requête va en amont et la réponse est réécrite dans l'index.

  • Trafic d'assistance et de FAQ : taux de réussite de 52% – les mêmes vingt questions dominent
  • Enrichissement du catalogue de produits : taux de réussite du 38%, piloté par des descriptions répétées des SKU
  • Assistance au code : taux de réussite 19% ; les invites comportent un contexte de fichier unique
  • Chat ouvert : taux de réussite de 6% – la mise en cache n'est pas le levier ici

Comment le taux de réussite évolue avec le trafic

Le taux de réussite est fonction de la densité rapide et non du volume brut. Une charge de travail avec appels 10k/jour et une charge avec appels 10M/jour convergent vers le même taux une fois que l'index a vu des invites distinctes à peu près 50k. Ce qui change, c'est le temps nécessaire pour atteindre ce point : les grands locataires se réchauffent en quelques heures, les petits en quelques semaines.

En moyenne sur tous les locataires activés pour le cache, la mise en cache sémantique a supprimé 41% des jetons en amont facturables au dernier trimestre. Latence ajoutée médiane sur un hit : 11ms.

L'allumer

client.chat.completions.create(
    model="claude-sonnet-4-5",
    messages=messages,
    extra_body={
        "amplink": {
            "cache": {"mode": "semantic", "threshold": 0.97, "ttl": 86400}
        }
    },
)

Définissez le seuil de manière prudente, surveillez l'en-tête servi à partir du cache pendant une semaine, puis relâchez-le route par route. Les équipes qui s'ajustent par itinéraire plutôt que globalement obtiennent des points 8-12 plus élevés en termes de taux de réussite à la même barre de qualité.

This article is an original publication of Starsg Group Inc. All rights reserved. No part of this article may be reproduced, copied, distributed, republished, or otherwise used in any form or by any means without the prior written permission of Starsg Group Inc., except as permitted by applicable law. Copyright © Starsg Group Inc. All Rights Reserved.

Plus dans Optimisation des coûts

Starsg vs OpenRouter : quel est le meilleur pour la production ?

10 oct. 2026 · Lecture minimale 15

OpenAI API : prix, modèles et comment commencer

16 sept. 2026 · Lecture minimale 11

Starsg vs Direct API : comparaison du coût total de possession

24 août 2026 · Lecture minimale 12