Aperçu du contenu du prototype. Les figures, les détails de l'auteur, les revendications du produit et les exemples API sont en attente de vérification ; les exemples ne sont pas des instructions d’intégration confirmées.
Comment nous traitons les demandes de jetons 1M sans pics de latence : stratégie de partitionnement, décodage parallèle et pipeline de compression de contexte.
Une demande de jeton 1M n’est pas une grande petite demande. Une manipulation naïve produit des pics de latence qui interrompent chaque délai d'attente en aval dont vous disposez. Trois techniques maintiennent p99 plat à mesure que le contexte évolue.
Partager le pré-remplissage
Le pré-remplissage est le coût dominant dans un contexte long et il se parallélise bien. Nous divisons l'invite selon les limites sémantiques, préremplissons les fragments simultanément sur tous les appareils et assemblons le cache KV avant le début du décodage. Au-dessus des jetons 200k, cela réduit le délai d'obtention du premier jeton d'environ 60%.
Décodage parallèle
Le décodage est séquentiel par nature, mais le décodage spéculatif avec un petit projet de modèle récupère une grande partie de la perte. Le projet propose plusieurs jetons, la cible est vérifiée en un seul passage et des taux d'acceptation sur la sortie structurée sont supérieurs à 70%.
Compression du contexte
- Dédupliquer le passe-partout répété entre les documents avant que la demande ne quitte la passerelle
- Déposez les morceaux de récupération en dessous d'un seuil de pertinence plutôt que de les remplir à un k fixe
- Résumer les tours de plus de vingt ans dans de longues conversations
La plupart des demandes de jetons 1M ne doivent pas nécessairement être des jetons 1M. La quantité médiane de déchets compressibles dans le trafic client est de 23%, et leur élimination est à la fois plus rapide et moins coûteuse que de bien les traiter.
Budgets de jetons
Fixez un plafond strict par demande et un budget horaire par locataire. Sans les deux, une boucle d'agent incontrôlée peut consommer une journée de capacité en vingt minutes – la classe d'incidents la plus courante que nous observons dans les charges de travail à contexte long.