140M 일일 호출의 데이터에 따르면 의미론적 캐싱이 중복 요청을 제거하는 것으로 나타났습니다. 적중률이 트래픽에 따라 어떻게 조정되는지는 다음과 같습니다.
Starsg 게이트웨이의 140M 일일 호출 전체에서 프롬프트의 31%는 이전 24 시간에 제공한 요청과 거의 중복됩니다. 정확히 일치하는 캐싱은 그 중 1/3도 겨우 잡아냅니다. 의미론적 캐싱은 나머지 부분을 포착하며 대부분의 팀이 모델을 변경하지 않고 수행할 수 있는 가장 큰 단일 항목 감소입니다.
캐시 적중으로 간주되는 것
각 수신 프롬프트를 포함하고, 테넌트의 자체 벡터 인덱스를 검색하고, 코사인 유사성이 경로별 임계값을 지울 때 결과를 적중으로 처리합니다. 기본값은 사실 조회의 경우 0.97이고 호출자가 생성으로 표시한 모든 항목의 경우 0.99입니다. 임계값 아래에서는 요청이 업스트림으로 이동하고 응답이 인덱스에 다시 기록됩니다.
- 지원 및 FAQ 트래픽: 52% 적중률 — 동일한 20개의 질문이 지배적입니다.
- 제품 카탈로그 강화: 반복되는 SKU 설명에 따라 38% 적중률
- 코드 지원: 19% 적중률; 프롬프트는 고유한 파일 컨텍스트를 전달합니다.
- 개방형 채팅: 6% 적중률 - 여기서 캐싱은 레버가 아닙니다.
적중률이 트래픽에 따라 조정되는 방식
적중률은 원시 볼륨이 아닌 프롬프트 밀도의 함수입니다. 10k 호출/일의 워크로드와 10M 호출/일의 워크로드는 지수가 대략 50k 고유 프롬프트를 확인한 후에 동일한 속도로 수렴됩니다. 볼륨 변화는 해당 지점에 도달하는 시간입니다. 대규모 임차인은 몇 시간 만에 예열되고, 소규모 임차인은 몇 주 만에 예열됩니다.
모든 캐시 지원 테넌트에서 평균적으로 의미론적 캐싱은 지난 분기에 청구 가능한 업스트림 토큰의 41%를 제거했습니다. 적중 시 중앙값 추가 대기 시간: 11ms.
켜는 중
client.chat.completions.create(
model="claude-sonnet-4-5",
messages=messages,
extra_body={
"amplink": {
"cache": {"mode": "semantic", "threshold": 0.97, "ttl": 86400}
}
},
)
임계값을 보수적으로 설정하고, Served-from-cache 헤더를 일주일 동안 관찰한 다음 경로별로 느슨하게 합니다. 전 세계적으로 8-12 포인트를 획득하는 대신 경로별로 조정하는 팀은 동일한 품질 기준에서 적중률이 더 높습니다.