Vista previa del contenido del prototipo. Las figuras, los detalles del autor, las afirmaciones del producto y los ejemplos de API están pendientes de verificación; Los ejemplos no son instrucciones de integración confirmadas.
Cómo manejamos las solicitudes de token 1M sin picos de latencia: la estrategia de fragmentación, la decodificación paralela y el canal de compresión de contexto.
Una solicitud de token 1M no es una solicitud pequeña y grande. El manejo ingenuo produce picos de latencia que interrumpen cada tiempo de espera descendente que tenga. Tres técnicas mantienen el p99 estable a medida que crece el contexto.
Fragmentando el prellenado
El precarga es el costo dominante en un contexto largo y tiene un buen paralelismo. Dividimos el mensaje en límites semánticos, rellenamos previamente los fragmentos simultáneamente en todos los dispositivos y unimos el caché KV antes de que comience la decodificación. Por encima de los tokens 200k, esto reduce el tiempo de obtención del primer token en aproximadamente 60%.
Decodificación paralela
La decodificación es secuencial por naturaleza, pero la decodificación especulativa con un pequeño borrador del modelo recupera gran parte de la pérdida. El borrador propone varios tokens, el objetivo se verifica en una sola pasada y las tasas de aceptación en la producción estructurada superan 70%.
Compresión de contexto
- Deduplicar el texto estándar repetido en todos los documentos antes de que la solicitud abandone la puerta de enlace.
- Coloque los fragmentos de recuperación por debajo de un nivel mínimo de relevancia en lugar de rellenarlos hasta un k fijo
- Resumir cumple más de veinte años en largas conversaciones
La mayoría de las solicitudes de tokens 1M no necesitan ser tokens 1M. La mediana de residuos comprimibles en el tráfico de clientes es 23%, y eliminarlos es más rápido y económico que atenderlos bien.
Presupuestos simbólicos
Establezca un límite estricto por solicitud y un presupuesto por hora por inquilino. Sin ambos, un bucle de agente fuera de control puede consumir un día de capacidad en veinte minutos: el tipo de incidente más común que vemos en cargas de trabajo de contexto prolongado.