Vorschau des Prototypinhalts. Zahlen, Angaben zum Autor, Produktaussagen und API-Beispiele müssen noch überprüft werden. Beispiele sind keine bestätigten Integrationsanweisungen.
Die Architektur hinter unserem Multi-Supplier-Gateway: Gesundheitsprüfungen, Leistungsschalter, Standby-Warmpools und Degradationsrichtlinien.
Die Betriebszeit von 99.99% im Vergleich zu Anbietern, die individuell rund um 99.9% liefern, ist keine Marketingzahl – sie ist das, was Sie durch unabhängige Fehlerdomänen, aggressive Gesundheitsprüfungen und eine Routing-Schicht erhalten, die im einstelligen Millisekundenbereich entscheidet.
Gesundheitschecks
Jeder Upstream-Endpunkt wird alle 2 Sekunden mit einer synthetischen Anfrage überprüft, die den tatsächlichen Inferenzpfad und nicht eine Statusseite ausübt. Wir verfolgen die Latenz von p50 und p99, die Fehlerrate und die strukturelle Gültigkeit der Antwort. Ein Anbieter wird als herabgestuft markiert, bevor er Fehler zurückgibt – Latenzdrift ist das früheste Signal.
Leistungsschalter
- Geschlossen: normale Weiterleitung, sämtlicher Verkehrsfluss
- Halb offen: 5% des Datenverkehrs prüft die Wiederherstellung, während der Rest in den Standby-Modus weitergeleitet wird
- Geöffnet: kein Verkehr; Erst nach 30 aufeinanderfolgenden gesunden Sonden wieder geöffnet
Warme Standby-Pools
Bei einem Kalt-Failover zahlen Sie die Latenzzeit des ersten Tokens einer neuen Verbindung zuzüglich eines etwaigen Kaltstarts auf Anbieterseite. Wir halten dauerhafte Verbindungen zu jedem Standby offen und spielen die laufende Anfrage für das neue Ziel erneut ab, sodass der Client eine einzelne langsamere Antwort statt eines Fehlers sieht.
Der beste Failover ist der, den Ihre Benutzer gar nicht bemerken. Die mittlere zusätzliche Latenz von der Routing-Ebene liegt unter 4ms; Bei einem vollständigen Failover-Ereignis werden der betroffenen Anforderung 180-400ms hinzugefügt.
Abbaupolitik
Wenn kein gleichwertiges Modell fehlerfrei ist, entscheiden Sie, was passiert: auf eine günstigere Stufe zurückgreifen, einen veralteten Cache-Eintrag bereitstellen oder schnell ausfallen. Die Standardeinstellung „Fail-Fast“ ist die ehrliche Wahl für Agenten-Workloads, bei denen eine schlechtere Antwort teurer ist als keine Antwort.