Anteprima del contenuto del prototipo. Le cifre, i dettagli dell'autore, le dichiarazioni sui prodotti e gli esempi API sono in attesa di verifica; gli esempi non sono istruzioni di integrazione confermate.
Come gestiamo le richieste di token 1M senza picchi di latenza: la strategia di sharding, la decodifica parallela e la pipeline di compressione del contesto.
Una richiesta di token 1M non è una piccola grande richiesta. La gestione ingenua produce picchi di latenza che interrompono ogni timeout downstream che hai. Tre tecniche mantengono p99 piatto man mano che il contesto cresce.
Sharding della precompilazione
La precompilazione è il costo dominante in un contesto lungo e si parallelizza bene. Dividiamo il prompt ai confini semantici, preriempiamo i frammenti contemporaneamente su tutti i dispositivi e uniamo la cache KV prima che inizi la decodifica. Sopra i token 200k questo riduce il tempo per il primo token di circa 60%.
Decodifica parallela
La decodifica è sequenziale per natura, ma la decodifica speculativa con un modello di piccola bozza recupera gran parte della perdita. La bozza propone diversi token, l'obiettivo viene verificato in un unico passaggio e i tassi di accettazione sull'output strutturato superano 70%.
Compressione del contesto
- Deduplica i boilerplate ripetuti tra i documenti prima che la richiesta lasci il gateway
- Rilascia i blocchi di recupero al di sotto di un livello di pertinenza anziché riempire un k fisso
- Riassumere diventa più vecchio degli ultimi venti nelle lunghe conversazioni
Non è necessario che la maggior parte delle richieste di token 1M siano token 1M. I rifiuti comprimibili mediani nel traffico dei clienti sono 23% e rimuoverli è più veloce ed economico che servirli bene.
Budget simbolici
Imposta un tetto massimo per richiesta e un budget orario per tenant. Senza entrambi, un ciclo di agenti fuori controllo può consumare una giornata di capacità in venti minuti: la classe di incidenti più comune che vediamo nei carichi di lavoro a lungo contesto.