Como lidamos com solicitações de 1 milhão de tokens sem picos de latência — a estratégia de fragmentação, decodificação paralela e pipeline de compactação de contexto.
Uma solicitação de 1 milhão de tokens não é uma solicitação grande e pequena. O manuseio ingênuo produz picos de latência que interrompem cada tempo limite de downstream que você possui. Três técnicas mantêm o p99 plano à medida que o contexto aumenta.
Fragmentando o pré-preenchimento
O pré-preenchimento é o custo dominante em contextos longos e é bem paralelizado. Dividimos o prompt em limites semânticos, preenchemos previamente os fragmentos simultaneamente entre os dispositivos e unimos o cache KV antes do início da decodificação. Acima de 200 mil tokens, isso reduz o tempo até o primeiro token em cerca de 60%.
Decodificação paralela
A decodificação é sequencial por natureza, mas a decodificação especulativa com um pequeno rascunho do modelo recupera grande parte da perda. O rascunho propõe vários tokens, o alvo é verificado em uma única passagem e as taxas de aceitação na produção estruturada ficam acima de 70%.
Compressão de contexto
- Desduplicar padrões repetidos em documentos antes que a solicitação saia do gateway
- Descarte pedaços de recuperação abaixo de um piso de relevância em vez de preencher até um k fixo
- Resuma turnos anteriores aos últimos vinte em longas conversas
A maioria das solicitações de 1 milhão de tokens não precisam ser de 1 milhão de tokens. O desperdício compressível médio no tráfego de clientes é de 23%, e removê-lo é mais rápido e mais barato do que atendê-lo bem.
Orçamentos de tokens
Defina um teto rígido por solicitação e um orçamento por hora por locatário. Sem ambos, um loop de agente descontrolado pode consumir um dia de capacidade em vinte minutos — a classe de incidente mais comum que vemos em cargas de trabalho de contexto longo.