Kostenoptimierung

Wie semantisches Caching die KI-Kosten API um 41% senkt

Vorschau des Prototypinhalts. Zahlen, Angaben zum Autor, Produktaussagen und API-Beispiele müssen noch überprüft werden. Beispiele sind keine bestätigten Integrationsanweisungen.

Unsere Daten aus täglichen 140M-Anrufen zeigen, dass durch semantisches Caching redundante Anfragen eliminiert werden. So skaliert die Trefferquote mit dem Traffic.

Bei den täglichen 140M-Anrufen auf dem Starsg-Gateway sind die 31%-Anfragen nahezu Duplikate einer Anfrage, die wir in den vorherigen 24-Stunden bearbeitet haben. Beim Exact-Match-Caching wird kaum ein Drittel davon erfasst. Semantisches Caching fängt den Rest ab – und es ist die größte Einzelpostenreduzierung, die die meisten Teams erreichen können, ohne ein Modell zu ändern.

Was zählt als Cache-Hit

Wir betten jede eingehende Eingabeaufforderung ein, durchsuchen den eigenen Vektorindex des Mandanten und behandeln ein Ergebnis als Treffer, wenn die Kosinusähnlichkeit einen Schwellenwert pro Route überschreitet. Der Standardwert ist 0.97 für sachliche Suchvorgänge und 0.99 für alles, was der Aufrufer als generativ markiert. Unterhalb des Schwellenwerts geht die Anfrage stromaufwärts und die Antwort wird in den Index zurückgeschrieben.

  • Support- und FAQ-Verkehr: 52%-Trefferquote – die gleichen zwanzig Fragen dominieren
  • Bereicherung des Produktkatalogs: 38%-Trefferquote, gesteuert durch wiederholte SKU-Beschreibungen
  • Codeunterstützung: 19% Trefferquote; Eingabeaufforderungen enthalten einen eindeutigen Dateikontext
  • Offener Chat: 6%-Trefferquote – Caching ist hier nicht der Hebel

Wie die Trefferquote mit dem Traffic skaliert

Die Trefferquote ist eine Funktion der sofortigen Dichte, nicht des Rohvolumens. Eine Arbeitslast von 10k Anrufen/Tag und eine von 10M Anrufen/Tag konvergieren auf die gleiche Rate, sobald der Index ungefähr 50k unterschiedliche Eingabeaufforderungen gesehen hat. Welche Lautstärke sich ändert, ist die Zeit, die bis zum Erreichen dieses Punktes benötigt wird: Große Mieter erwärmen sich in Stunden, kleine in Wochen.

Im Durchschnitt aller Cache-fähigen Mandanten wurden durch semantisches Caching im letzten Quartal 41% an abrechenbaren Upstream-Tokens entfernt. Mittlere zusätzliche Latenz bei einem Treffer: 11ms.

Einschalten

client.chat.completions.create(
    model="claude-sonnet-4-5",
    messages=messages,
    extra_body={
        "amplink": {
            "cache": {"mode": "semantic", "threshold": 0.97, "ttl": 86400}
        }
    },
)

Legen Sie den Schwellenwert konservativ fest, beobachten Sie den „Served-from-Cache“-Header eine Woche lang und lockern Sie ihn dann Route für Route. Teams, die pro Route und nicht global abstimmen, erzielen bei gleicher Qualitätsleiste eine höhere Trefferquote von 8-12.

This article is an original publication of Starsg Group Inc. All rights reserved. No part of this article may be reproduced, copied, distributed, republished, or otherwise used in any form or by any means without the prior written permission of Starsg Group Inc., except as permitted by applicable law. Copyright © Starsg Group Inc. All Rights Reserved.

Mehr in Kostenoptimierung

Starsg vs. OpenRouter: Was ist besser für die Produktion?

10. Okt. 2026 · 15 Mindestablesung

OpenAI API: Preise, Modelle und erste Schritte

16. Sept. 2026 · 11 Mindestablesung

Starsg vs. Direct API: Vergleich der Gesamtbetriebskosten

24. Aug. 2026 · 12 Mindestablesung