지연 시간 급증 없이 1M 토큰 요청을 처리하는 방법 — 샤딩 전략, 병렬 디코드 및 컨텍스트 압축 파이프라인.
1M 토큰 요청은 크고 작은 요청이 아닙니다. 순진한 처리로 인해 발생하는 모든 다운스트림 시간 초과를 깨뜨리는 대기 시간 스파이크가 발생합니다. 세 가지 기술은 상황이 커짐에 따라 p99를 플랫하게 유지합니다.
프리필 샤딩
프리필은 긴 컨텍스트에서 지배적인 비용이며 병렬화가 잘됩니다. 의미론적 경계에서 프롬프트를 분할하고, 장치 전체에 동시에 샤드를 미리 채우고, 디코딩이 시작되기 전에 KV 캐시를 연결합니다. 200k 토큰 이상에서는 첫 번째 토큰을 얻는 데 걸리는 시간이 대략 60%만큼 단축됩니다.
병렬 디코드
디코드는 본질적으로 순차적이지만 작은 드래프트 모델을 사용한 추측적 디코딩은 손실의 대부분을 복구합니다. 초안은 여러 토큰을 제안하고 대상은 한 번의 패스로 검증하며 구조화된 출력에 대한 승인률은 70% 이상입니다.
컨텍스트 압축
- 요청이 게이트웨이를 떠나기 전에 문서 전체에서 반복되는 상용구를 중복 제거합니다.
- 고정된 k에 패딩하는 대신 관련성 바닥 아래에 검색 청크를 삭제합니다.
- 요약은 긴 대화에서 지난 20보다 오래 된 것으로 변합니다.
대부분의 1M 토큰 요청은 1M 토큰일 필요는 없습니다. 고객 트래픽의 압축 가능 낭비 중앙값은 23%이며 이를 제거하는 것이 제대로 서비스를 제공하는 것보다 빠르고 저렴합니다.
토큰 예산
엄격한 요청당 한도와 테넌트당 시간당 예산을 설정합니다. 둘 다 없으면 하나의 런어웨이 에이전트 루프가 20분 만에 하루 용량을 소비할 수 있습니다. 이는 긴 컨텍스트 워크로드에서 볼 수 있는 가장 일반적인 사고 클래스입니다.