Ingegneria

Contesto lungo su larga scala: sharding, inferenza parallela e budget dei token

Anteprima del contenuto del prototipo. Le cifre, i dettagli dell'autore, le dichiarazioni sui prodotti e gli esempi API sono in attesa di verifica; gli esempi non sono istruzioni di integrazione confermate.

Come gestiamo le richieste di token 1M senza picchi di latenza: la strategia di sharding, la decodifica parallela e la pipeline di compressione del contesto.

Una richiesta di token 1M non è una piccola grande richiesta. La gestione ingenua produce picchi di latenza che interrompono ogni timeout downstream che hai. Tre tecniche mantengono p99 piatto man mano che il contesto cresce.

Sharding della precompilazione

La precompilazione è il costo dominante in un contesto lungo e si parallelizza bene. Dividiamo il prompt ai confini semantici, preriempiamo i frammenti contemporaneamente su tutti i dispositivi e uniamo la cache KV prima che inizi la decodifica. Sopra i token 200k questo riduce il tempo per il primo token di circa 60%.

Decodifica parallela

La decodifica è sequenziale per natura, ma la decodifica speculativa con un modello di piccola bozza recupera gran parte della perdita. La bozza propone diversi token, l'obiettivo viene verificato in un unico passaggio e i tassi di accettazione sull'output strutturato superano 70%.

Compressione del contesto

  • Deduplica i boilerplate ripetuti tra i documenti prima che la richiesta lasci il gateway
  • Rilascia i blocchi di recupero al di sotto di un livello di pertinenza anziché riempire un k fisso
  • Riassumere diventa più vecchio degli ultimi venti nelle lunghe conversazioni

Non è necessario che la maggior parte delle richieste di token 1M siano token 1M. I rifiuti comprimibili mediani nel traffico dei clienti sono 23% e rimuoverli è più veloce ed economico che servirli bene.

Budget simbolici

Imposta un tetto massimo per richiesta e un budget orario per tenant. Senza entrambi, un ciclo di agenti fuori controllo può consumare una giornata di capacità in venti minuti: la classe di incidenti più comune che vediamo nei carichi di lavoro a lungo contesto.

This article is an original publication of Starsg Group Inc. All rights reserved. No part of this article may be reproduced, copied, distributed, republished, or otherwise used in any form or by any means without the prior written permission of Starsg Group Inc., except as permitted by applicable law. Copyright © Starsg Group Inc. All Rights Reserved.

Maggiori informazioni in Ingegneria

DeepSeek V4.1 Flash on StarsG: una guida pratica al modello che ridefinisce l'inferenza AI economicamente efficiente

29 ott 2026 · 13 lettura minima

Come ottenere Gemini 4 Argon API pronto

15 ott 2026 · 19 lettura minima

Jev ha spiegato: come creare decisioni basate sull'intelligenza artificiale affidabili per la produzione

10 ott 2026 · 20 lettura minima