Vorschau des Prototypinhalts. Zahlen, Angaben zum Autor, Produktaussagen und API-Beispiele müssen noch überprüft werden. Beispiele sind keine bestätigten Integrationsanweisungen.
Wie wir 1M-Token-Anfragen ohne Latenzspitzen verarbeiten – die Sharding-Strategie, die parallele Dekodierung und die Kontextkomprimierungspipeline.
Eine 1M-Token-Anfrage ist keine große kleine Anfrage. Naive Handhabung führt zu Latenzspitzen, die jedes Downstream-Timeout unterbrechen. Drei Techniken halten p99 flach, wenn der Kontext wächst.
Teilen der Vorfüllung
Das Vorfüllen ist im Langzeitkontext der dominierende Kostenfaktor und lässt sich gut parallelisieren. Wir teilen die Eingabeaufforderung an semantischen Grenzen auf, füllen Shards gleichzeitig auf allen Geräten vor und fügen den KV-Cache zusammen, bevor die Dekodierung beginnt. Über 200k-Tokens verkürzt sich die Zeit bis zum ersten Token um etwa 60%.
Parallele Dekodierung
Die Dekodierung ist von Natur aus sequentiell, aber die spekulative Dekodierung mit einem kleinen Entwurfsmodell gleicht einen Großteil des Verlusts aus. Der Entwurf schlägt mehrere Token vor, das Ziel überprüft in einem Durchgang und die Akzeptanzraten für strukturierte Ausgaben liegen über 70%.
Kontextkomprimierung
- Deduplizieren Sie wiederholte Boilerplates über Dokumente hinweg, bevor die Anfrage das Gateway verlässt
- Legen Sie Abrufblöcke unterhalb einer Relevanzuntergrenze ab, anstatt sie auf ein festes k aufzufüllen
- Fassen Sie in langen Gesprächen die Personen zusammen, die älter als die letzten zwanzig sind
Die meisten 1M-Token-Anfragen müssen keine 1M-Token sein. Der durchschnittliche Anteil komprimierbarer Abfälle im Kundenverkehr liegt bei 23%, und die Entsorgung ist sowohl schneller als auch kostengünstiger als die ordnungsgemäße Bereitstellung.
Token-Budgets
Legen Sie eine feste Obergrenze pro Anfrage und ein Stundenbudget pro Mandant fest. Ohne beides kann eine außer Kontrolle geratene Agentenschleife in zwanzig Minuten die Kapazität eines Tages verbrauchen – die häufigste Vorfallklasse, die wir bei Workloads mit langen Kontexten sehen.