Aperçu du contenu du prototype. Les figures, les détails de l'auteur, les revendications du produit et les exemples API sont en attente de vérification ; les exemples ne sont pas des instructions d’intégration confirmées.
L'architecture derrière notre passerelle multifournisseurs : contrôles de santé, disjoncteurs, piscines chaudes de secours et politiques de dégradation.
La disponibilité du 99.99% par rapport aux fournisseurs qui livrent individuellement autour du 99.9% n'est pas un chiffre marketing : c'est ce que vous obtenez de domaines de défaillance indépendants, de contrôles de santé agressifs et d'une couche de routage qui décide en millisecondes à un chiffre.
Bilans de santé
Chaque point de terminaison en amont est sondé toutes les secondes 2 avec une requête synthétique qui exerce le véritable chemin d'inférence, et non une page d'état. Nous suivons la latence des p50 et p99, le taux d'erreur et la validité structurelle de la réponse. Un fournisseur est marqué comme dégradé avant de commencer à renvoyer des erreurs – la dérive de latence est le premier signal.
Disjoncteurs
- Fermé : itinéraire normal, tous les flux de trafic
- Semi-ouvert : 5% de récupération des sondes de trafic tandis que le reste est mis en veille
- Ouvert : pas de circulation ; rouvert seulement après des sondes saines consécutives 30
Piscines de secours chaudes
Le basculement à froid vous coûte la latence du premier jeton d’une nouvelle connexion ainsi que tout démarrage à froid du côté du fournisseur. Nous maintenons des connexions persistantes ouvertes à chaque serveur de secours et rejouons la requête en cours sur la nouvelle cible, afin que le client voie une seule réponse plus lente plutôt qu'une erreur.
Le meilleur basculement est celui que vos utilisateurs ne remarquent jamais. La latence ajoutée médiane de la couche de routage est inférieure aux 4m ; un événement de basculement complet ajoute des 180-400m à la demande concernée.
Politique de dégradation
Lorsqu’aucun modèle équivalent n’est sain, vous choisissez ce qui se passe : revenir à un niveau moins cher, servir une entrée de cache obsolète ou échouer rapidement. Le choix par défaut de l'échec rapide est le choix honnête pour les charges de travail agents où une mauvaise réponse coûte plus cher que l'absence de réponse.