A arquitetura por trás do nosso gateway de vários fornecedores: verificações de integridade, disjuntores, pools quentes em espera e políticas de degradação.
99,99% de tempo de atividade além de provedores que entregam individualmente cerca de 99,9% não é um número de marketing — é o que você obtém de domínios de falha independentes, verificações de integridade agressivas e uma camada de roteamento que decide em milissegundos de um dígito.
Verificações de integridade
Cada endpoint upstream é testado a cada 2 segundos com uma solicitação sintética que exercita o caminho de inferência real, não uma página de status. Rastreamos a latência p50 e p99, a taxa de erro e a validade estrutural da resposta. Um provedor é marcado como degradado antes de começar a retornar erros – o desvio de latência é o primeiro sinal.
Disjuntores
- Fechado: roteamento normal, todos os fluxos de tráfego
- Semi-aberto: 5% do tráfego investiga a recuperação enquanto o restante é encaminhado para o modo de espera
- Aberto: sem trânsito; reaberto somente após 30 sondagens saudáveis consecutivas
Pools de espera quentes
O cold failover custa a latência do primeiro token de uma nova conexão, além de qualquer inicialização a frio do lado do provedor. Mantemos conexões persistentes abertas para cada espera e reproduzimos a solicitação em andamento no novo destino, para que o cliente veja uma única resposta mais lenta em vez de um erro.
O melhor failover é aquele que seus usuários nunca percebem. A latência média adicionada da camada de roteamento é inferior a 4 ms; um evento de failover completo adiciona 180 a 400 ms à solicitação afetada.
Política de degradação
Quando nenhum modelo equivalente é íntegro, você escolhe o que acontece: voltar para um nível mais barato, servir uma entrada de cache obsoleta ou falhar rapidamente. O padrão de falha rápida é a escolha honesta para cargas de trabalho de agente, nas quais uma resposta pior custa mais caro do que nenhuma resposta.