Vista previa del contenido del prototipo. Las figuras, los detalles del autor, las afirmaciones del producto y los ejemplos de API están pendientes de verificación; Los ejemplos no son instrucciones de integración confirmadas.
Nuestros datos de las llamadas diarias 140M muestran que el almacenamiento en caché semántico elimina las solicitudes redundantes. Así es como la tasa de aciertos aumenta con el tráfico.
En las llamadas diarias 140M en la puerta de enlace Starsg, las indicaciones 31% son casi duplicados de una solicitud que atendimos en las horas anteriores 24. El almacenamiento en caché de coincidencia exacta detecta apenas un tercio de ellos. El almacenamiento en caché semántico se encarga del resto, y es la mayor reducción de elementos de línea que la mayoría de los equipos pueden realizar sin cambiar un modelo.
¿Qué se considera un acierto en caché?
Incorporamos cada mensaje entrante, buscamos en el índice de vectores del propio inquilino y tratamos un resultado como un acierto cuando la similitud del coseno supera un umbral por ruta. El valor predeterminado es 0.97 para búsquedas de hechos y 0.99 para cualquier cosa que la persona que llama marque como generativa. Por debajo del umbral, la solicitud asciende y la respuesta se vuelve a escribir en el índice.
- Tráfico de soporte y preguntas frecuentes: tasa de aciertos 52%: dominan las mismas veinte preguntas
- Enriquecimiento del catálogo de productos: tasa de aciertos 38%, impulsada por descripciones repetidas de SKU
- Asistencia de código: tasa de aciertos 19%; los mensajes llevan un contexto de archivo único
- Chat abierto: tasa de aciertos 6%: el almacenamiento en caché no es la palanca aquí
Cómo aumenta la tasa de aciertos con el tráfico
La tasa de aciertos es una función de la densidad de mensajes, no del volumen bruto. Una carga de trabajo de llamadas 10k/día y otra de llamadas 10M/día convergen a la misma tasa una vez que el índice ha visto mensajes aproximadamente distintos de 50k. Lo que cambia el volumen es el tiempo para llegar a ese punto: los grandes inquilinos se calientan en horas, los pequeños en semanas.
En promedio entre todos los inquilinos habilitados para caché, el almacenamiento en caché semántico eliminó 41% de tokens ascendentes facturables el último trimestre. Latencia media añadida en un hit: 11ms.
Encendiéndolo
client.chat.completions.create(
model="claude-sonnet-4-5",
messages=messages,
extra_body={
"amplink": {
"cache": {"mode": "semantic", "threshold": 0.97, "ttl": 86400}
}
},
)
Establezca el umbral de manera conservadora, observe el encabezado servido desde la caché durante una semana y luego afloje ruta por ruta. Los equipos que sintonizan por ruta en lugar de globalmente obtienen puntos 8-12 más altos en tasa de aciertos con la misma barra de calidad.