Textgenerierung
Rufen Sie führende Großmodelle hinter einer Schnittstelle auf.
Frontier-Modelle sitzen hinter einer einzigen Schnittstelle, wobei Routing, Caching, Ratenbegrenzungen, Failover und Kostenkontrolle von der Laufzeit übernommen werden. Durch das Wechseln des Modells ändert sich Ihr Code nicht.
Die Technik rund um das Modell, verwaltet von der Laufzeit
Die Laufzeit verarbeitet Ratenbeschränkungen unter Last, Zeitüberschreitungen bei langen Kontexten, undurchsichtige Abrechnungen und das Umschreiben einer Eingabeaufforderungspipeline, nur um Modelle zu ändern. Semantisches Caching bedient wiederholte Anfragen, sehr langer Kontext wird parallel aufgeteilt und abgeleitet, und ein instabiles Modell führt einen Failover auf einen Hot-Standby in derselben Funktionsebene durch. Anrufer ändern nichts.
Gebaut für die Produktion
Langer Kontext, konsistente Wendungen
Anweisungen gelten für lange Gespräche und einen großen technischen Kontext. Tool-Call-Ketten sind mehrere Ebenen tief verschachtelt und werden bei einem Fehler zurückgesetzt.
Streaming mit geringer Latenz
Nahegelegene Einstiegspunkte, warme Verbindungen und spekulative Dekodierung, Token für Token geliefert.
Integrierte Kostenkontrolle
Semantisches Caching, Kontextkomprimierung und Stapelzusammenführung werden gestapelt, wobei die Abrechnung Zeile für Zeile abgeglichen wird.
Automatisches Failover
Modelle in derselben Fähigkeitsebene sichern sich gegenseitig und die Degradationsrichtlinie wird pro Geschäftsbereich konfiguriert.
API-Funktionen
Streaming oder vollständige Antwort
Übertragen Sie Token über SSE oder nehmen Sie das gesamte Ergebnis in einem Aufruf vom selben Endpunkt entgegen.
Tool-Aufrufe und strukturierte Ausgabe
Nativer Funktionsaufruf mit JSON-Schema-Einschränkungen, bereit zur Deserialisierung bei Ankunft.
Sehr langer Kontext
Lange Dokumente werden in Shards aufgeteilt und parallel verarbeitet, ohne selbst schreibende Aufteilungslogik.
Multimodaler Input
Bilder, PDFs, Audio und Text teilen sich ein Nachrichtenarray.
Semantischer Cache
Die Ähnlichkeitsschwelle ist einstellbar; Ein Treffer wird sofort zurückgegeben und nicht in Rechnung gestellt.
OpenAI SDK kompatibel
Vorhandener Code lässt sich ohne Änderungen verbinden und behält die erweiterten Funktionen des SDK bei.
Häufige Anwendungsfälle
Sprachassistenten des Geräts
Wandeln Sie natürliche Sprache in Gerätebefehle um und merken Sie sich, auf welchen Raum und welches Gerät sich der letzte Zug bezog.
In-App-Unterstützung und Selbstdiagnose
Wenn das Produkthandbuch und die Geräteprotokolle verbunden sind, können Sie auf Kopplungsfehler, Offline-Status und Warnungen antworten und sagen, was als Nächstes zu tun ist.
Szenen- und Automatisierungs-Authoring
Ein Benutzer beschreibt in einem Satz, was er möchte, und die Bedingungen, Aktionen und aktiven Stunden einer Automatisierung werden zur Überprüfung zurückgegeben.
Gerätebetriebsberichte
Verwandeln Sie Energieverbrauch, Laufzeit und Alarmverlauf in einen lesbaren Wochenbericht, gruppiert nach Raum oder Geschäft.
starsg = Starsg(api_key="sk-...") stream = starsg.chat( model="claude-sonnet-4-6", messages=[{"role": "user", "content": "分析这份财报的风险点"}], attachments=["file_9f2a....pdf"], fallback="gpt-4o", # 上游抖动即热备 stream=True, ) for chunk in stream: print(chunk.delta, end="")
Ein Aufruf deklariert das Verhalten
Streaming, Anhänge, Toolaufrufe und Fallback-Richtlinien werden alle im selben Aufruf deklariert – keine zusätzliche Orchestrierungsebene.
Beginnen Sie mit dem Bauen mit Textgenerierung
Registrieren Sie sich, um einen API-Schlüssel zu erstellen. Es verfügt über die gleiche Authentifizierung, Abrechnung und Beobachtbarkeit wie die anderen sechs Funktionen.