다중 공급업체 게이트웨이 뒤에 있는 아키텍처: 상태 점검, 회로 차단기, 대기 웜 풀 및 성능 저하 정책.
각 제공업체의 가동률이 약 99.9%인 상황에서 전체 가동률 99.99%를 달성한다는 것은 단순한 홍보 문구가 아닙니다. 장애 영역을 분리하고, 적극적으로 상태를 점검하며, 한 자릿수 밀리초 안에 경로를 결정하는 라우팅 계층을 결합한 결과입니다.
상태 점검
모든 업스트림 엔드포인트는 상태 페이지가 아닌 실제 추론 경로를 실행하는 합성 요청을 통해 2초마다 프로브됩니다. p50 및 p99 대기 시간, 오류율 및 응답의 구조적 유효성을 추적합니다. 공급자는 오류 반환을 시작하기 전에 성능 저하로 표시됩니다. 대기 시간 드리프트는 가장 빠른 신호입니다.
회로 차단기
- 폐쇄형: 일반 라우팅, 모든 트래픽 흐름
- 반 개방: 트래픽 프로브의 5%가 복구되고 나머지는 대기 모드로 라우팅됩니다.
- 개방형: 트래픽 없음; 30 연속 정상 프로브 이후에만 다시 열림
웜 대기 풀
콜드 장애 조치에는 새로운 연결의 첫 번째 토큰 대기 시간과 공급자 측 콜드 스타트 비용이 발생합니다. 우리는 모든 대기에 대한 지속적인 연결을 유지하고 새로운 대상에 대해 진행 중인 요청을 재생하므로 클라이언트는 오류가 아닌 느린 단일 응답을 보게 됩니다.
최고의 장애 조치는 사용자가 전혀 알아차리지 못하는 것입니다. 라우팅 레이어의 추가 대기 시간 중앙값은 4ms 미만입니다. 전체 장애 조치 이벤트는 영향을 받는 요청에 180-400ms를 추가합니다.
저하 정책
동등한 모델이 정상이 아닌 경우, 더 저렴한 계층으로 대체하거나, 오래된 캐시 항목을 제공하거나, 빠르게 실패할 것인지 선택합니다. 빠른 실패를 기본으로 설정하는 것은 더 나쁜 답변이 답변이 없는 것보다 비용이 더 많이 드는 에이전트 워크로드에 대한 정직한 선택입니다.