Vista previa del contenido del prototipo. Las figuras, los detalles del autor, las afirmaciones del producto y los ejemplos de API están pendientes de verificación; Los ejemplos no son instrucciones de integración confirmadas.
La arquitectura detrás de nuestra puerta de enlace de múltiples proveedores: controles de estado, disyuntores, piscinas calientes en espera y políticas de degradación.
El tiempo de actividad de 99.99% además de los proveedores que entregan individualmente alrededor de 99.9% no es un número de marketing: es lo que se obtiene de dominios de falla independientes, controles de estado agresivos y una capa de enrutamiento que decide en milisegundos de un solo dígito.
Controles de salud
Cada punto final ascendente se prueba cada 2 segundos con una solicitud sintética que ejercita la ruta de inferencia real, no una página de estado. Realizamos un seguimiento de la latencia, la tasa de error y la validez estructural de la respuesta de p50 y p99. Un proveedor se marca como degradado antes de que comience a devolver errores; la deriva de latencia es la primera señal.
Disyuntores
- Cerrado: ruta normal, todo el tráfico fluye
- Medio abierto: 5% de tráfico sondea la recuperación mientras el resto pasa al modo de espera
- Abierto: sin tráfico; reabierto sólo después de 30 sondas saludables consecutivas
Piscinas cálidas de reserva
La conmutación por error en frío le cuesta la latencia del primer token de una conexión nueva más cualquier inicio en frío por parte del proveedor. Mantenemos conexiones persistentes abiertas para cada espera y reproducimos la solicitud en curso contra el nuevo objetivo, de modo que el cliente vea una única respuesta más lenta en lugar de un error.
La mejor conmutación por error es aquella que los usuarios nunca notan. La latencia añadida media de la capa de enrutamiento está por debajo de 4m; un evento de conmutación por error completo agrega 180-400m a la solicitud afectada.
Política de degradación
Cuando ningún modelo equivalente está en buen estado, usted elige lo que sucede: recurrir a un nivel más económico, ofrecer una entrada de caché obsoleta o fallar rápidamente. La opción predeterminada para fallar rápidamente es la opción honesta para cargas de trabajo de agencia donde una peor respuesta es más costosa que ninguna respuesta.