Nossos dados de 140 milhões de chamadas diárias mostram que o cache semântico elimina solicitações redundantes. Veja como a taxa de acerto aumenta com o tráfego.
Em 140 milhões de chamadas diárias no gateway Starsg, 31% dos prompts são quase duplicados de uma solicitação que atendemos nas 24 horas anteriores. O cache de correspondência exata captura apenas um terço deles. O cache semântico cobre o resto – e é a maior redução de item de linha que a maioria das equipes pode fazer sem alterar um modelo.
O que conta como um acerto de cache
Incorporamos cada prompt recebido, pesquisamos o índice vetorial do próprio inquilino e tratamos um resultado como um acerto quando a similaridade de cosseno ultrapassa um limite por rota. O padrão é 0,97 para pesquisas factuais e 0,99 para qualquer coisa que o chamador marque como generativo. Abaixo do limite, a solicitação vai para o upstream e a resposta é gravada de volta no índice.
- Tráfego de suporte e perguntas frequentes: taxa de acerto de 52% — as mesmas vinte perguntas dominam
- Enriquecimento do catálogo de produtos: taxa de acerto de 38%, impulsionada por descrições repetidas de SKU
- Assistência ao código: taxa de acerto de 19%; prompts carregam contexto de arquivo exclusivo
- Bate-papo aberto: taxa de acerto de 6% — o cache não é a alavanca aqui
Como a taxa de acerto aumenta com o tráfego
A taxa de acerto é uma função da densidade imediata, não do volume bruto. Uma carga de trabalho de 10 mil chamadas/dia e outra de 10 milhões de chamadas/dia convergem para a mesma taxa quando o índice vê aproximadamente 50 mil prompts distintos. O que muda no volume é o tempo para chegar a esse ponto: os grandes inquilinos esquentam em horas, os pequenos em semanas.
Na média de todos os locatários habilitados para cache, o cache semântico removeu 41% dos tokens upstream faturáveis no último trimestre. Latência média adicionada em um hit: 11ms.
Ligar
client.chat.completions.create(
model="claude-sonnet-4-5",
messages=messages,
extra_body={
"amplink": {
"cache": {"mode": "semantic", "threshold": 0.97, "ttl": 86400}
}
},
)
Defina o limite de forma conservadora, observe o cabeçalho servido do cache por uma semana e depois afrouxe-o rota por rota. As equipes que ajustam por rota, em vez de globalmente, alcançam de 8 a 12 pontos a mais na taxa de acerto e na mesma barra de qualidade.