지연 시간, 비용, 컨텍스트 길이, 도구 호출 안정성 — 우리는 6 실제 시나리오에서 3대 요소를 벤치마킹합니다.
우리는 동일한 프롬프트, 동일한 온도, 동일한 날에 동일한 게이트웨이를 통해 라우팅되는 6개의 생산 형태 시나리오를 통해 3개의 주요 프론티어 제품군을 실행했습니다. 실제로 그것들을 구분하는 것은 다음과 같습니다.
시나리오
- 컨텍스트의 180k 토큰을 사용한 다중 파일 코드 리팩터링
- 지저분한 송장에서 엄격한 JSON 스키마로 구조화된 추출
- 톤 제약 조건 및 도구 호출이 포함된 고객 지원 응답
- 600k 토큰의 긴 문서 요약
- 도구 호출 체인 에이전트 루프, 8단계 깊이
- 스타일 가이드가 포함된 창의적인 장문 초안 작성
우리가 찾은 것
도구 호출 신뢰성은 가장 큰 격차입니다. 8단계 에이전트 루프에서 최고의 모델은 잘못된 호출 없이 94%의 실행을 완료했습니다. 최악의 상황은 71%였습니다. 일반 단일 회전 세대에서는 세 제품군이 서로 몇 지점 내에 있으므로 가격과 대기 시간에 따라 선택해야 합니다.
워크로드가 하나의 프롬프트 입력, 하나의 답변 출력인 경우 비용을 선택하세요. 에이전트라면 도구 호출 안정성을 선택하고 가격을 수락하세요. 재시도 비용은 더 나은 모델보다 비쌉니다.
기본 라우팅 정책
{
"routes": [
{ "match": "tools:true", "model": "claude-sonnet-4-5" },
{ "match": "context>400000", "model": "gemini-2.5-pro" },
{ "match": "latency<300ms", "model": "qwen-3.8-flash" },
{ "default": "gpt-5" }
]
}
거기에서 시작한 다음 게이트웨이의 경로별 품질 지표를 통해 어디에서 벗어나야 하는지 알려줍니다. 분기별로 재평가합니다. 작년에 순서가 두 번 변경되었습니다.