Ottimizzazione dei costi

In che modo la memorizzazione nella cache semantica riduce i costi dell'AI API grazie a 41%

Anteprima del contenuto del prototipo. Le cifre, i dettagli dell'autore, le dichiarazioni sui prodotti e gli esempi API sono in attesa di verifica; gli esempi non sono istruzioni di integrazione confermate.

I nostri dati relativi alle chiamate giornaliere 140M mostrano che la memorizzazione nella cache semantica elimina le richieste ridondanti. Ecco come il tasso di successo si adatta al traffico.

Nelle chiamate giornaliere 140M sul gateway Starsg, i prompt 31% sono quasi duplicati di una richiesta che abbiamo servito nelle ore 24 precedenti. La memorizzazione nella cache delle corrispondenze esatte ne rileva appena un terzo. La memorizzazione nella cache semantica cattura il resto ed è la più grande riduzione di elementi pubblicitari che la maggior parte dei team può effettuare senza modificare un modello.

Ciò che conta come un riscontro nella cache

Incorporiamo ogni prompt in arrivo, cerchiamo l'indice vettoriale del tenant e trattiamo un risultato come un successo quando la somiglianza del coseno supera una soglia per percorso. Il valore predefinito è 0.97 per le ricerche fattuali e 0.99 per tutto ciò che il chiamante contrassegna come generativo. Al di sotto della soglia la richiesta va a monte e la risposta viene riscritta nell'indice.

  • Traffico di supporto e FAQ: tasso di successo 52%: dominano le stesse venti domande
  • Arricchimento del catalogo prodotti: tasso di successo 38%, guidato da descrizioni SKU ripetute
  • Assistenza al codice: tasso di successo 19%; i prompt trasportano un contesto di file univoco
  • Chat a tempo indeterminato: tasso di successo 6%: la memorizzazione nella cache non è la leva qui

Come il tasso di successo si adatta al traffico

Il tasso di successo è una funzione della densità immediata, non del volume grezzo. Un carico di lavoro con chiamate 10k/giorno e uno con chiamate 10M/giorno convergono alla stessa velocità una volta che l'indice ha visualizzato prompt distinti all'incirca 50k. Ciò che cambia nel volume è il tempo necessario per raggiungere quel punto: i grandi inquilini si riscaldano in ore, quelli piccoli in settimane.

In media tra tutti i tenant abilitati alla cache, la memorizzazione nella cache semantica ha rimosso 41% di token upstream fatturabili lo scorso trimestre. Latenza media aggiunta in caso di successo: 11ms.

Accensione

client.chat.completions.create(
    model="claude-sonnet-4-5",
    messages=messages,
    extra_body={
        "amplink": {
            "cache": {"mode": "semantic", "threshold": 0.97, "ttl": 86400}
        }
    },
)

Imposta la soglia in modo conservativo, osserva l'intestazione servita dalla cache per una settimana, quindi allentala percorso per percorso. Le squadre che si sintonizzano per percorso anziché a livello globale ottengono punti 8-12 più alti in termini di tasso di successo con la stessa barra di qualità.

This article is an original publication of Starsg Group Inc. All rights reserved. No part of this article may be reproduced, copied, distributed, republished, or otherwise used in any form or by any means without the prior written permission of Starsg Group Inc., except as permitted by applicable law. Copyright © Starsg Group Inc. All Rights Reserved.

Maggiori informazioni in Ottimizzazione dei costi

Starsg vs OpenRouter: quale è meglio per la produzione?

10 ott 2026 · 15 lettura minima

OpenAI API: prezzi, modelli e come iniziare

16 set 2026 · 11 lettura minima

Starsg vs API diretto: confronto del costo totale di proprietà

24 ago 2026 · 12 lettura minima