Vorschau des Prototypinhalts. Zahlen, Angaben zum Autor, Produktaussagen und API-Beispiele müssen noch überprüft werden. Beispiele sind keine bestätigten Integrationsanweisungen.
Latenz, Kosten, Kontextlänge, Tool-Call-Zuverlässigkeit – wir vergleichen die großen drei anhand realer 6-Szenarien.
Wir haben die drei führenden Frontier-Familien sechs produktionsorientierte Szenarien mit identischen Eingabeaufforderungen, derselben Temperatur, demselben Tag und der Weiterleitung über dasselbe Gateway durchlaufen. Hier ist, was sie tatsächlich trennt.
Die Szenarien
- Multi-File-Code-Refactor mit 180k-Kontext-Tokens
- Strukturierte Extraktion aus chaotischen Rechnungen in ein strenges JSON-Schema
- Antwort des Kundensupports mit Tonbeschränkungen und einem Tool-Anruf
- Zusammenfassung langer Dokumente bei 600k-Tokens
- Chain-of-Tool-Calls-Agentenschleife, acht Schritte tief
- Kreatives Langform-Entwerfen mit einem Styleguide
Was wir gefunden haben
Die größte Lücke besteht bei der Tool-Call-Zuverlässigkeit. In der achtstufigen Agentenschleife hat das beste Modell 94% an Läufen ohne einen fehlerhaften Aufruf abgeschlossen; Am schlimmsten war es bei 71%. Bei der einfachen Single-Turn-Generation liegen die drei Familien nur wenige Punkte voneinander entfernt und die Wahl sollte vom Preis und der Latenz abhängen.
Wenn Ihr Arbeitsaufwand aus einer Eingabe und einer Antwort besteht, wählen Sie die Kosten aus. Wenn es sich um einen Agenten handelt, wählen Sie die Zuverlässigkeit des Tool-Aufrufs und akzeptieren Sie den Preis – Wiederholungsversuche sind teurer als das bessere Modell.
Eine Standard-Routing-Richtlinie
{
"routes": [
{ "match": "tools:true", "model": "claude-sonnet-4-5" },
{ "match": "context>400000", "model": "gemini-2.5-pro" },
{ "match": "latency<300ms", "model": "qwen-3.8-flash" },
{ "default": "gpt-5" }
]
}
Beginnen Sie dort und lassen Sie sich dann anhand der Qualitätsmetriken des Gateways pro Route sagen, wo Sie abweichen müssen. Vierteljährlich neu bewerten – die Reihenfolge hat sich im letzten Jahr zweimal geändert.