Startseite/Große Modelle/Textgenerierung

Textgenerierung

Rufen Sie führende Großmodelle hinter einer Schnittstelle auf.

Frontier-Modelle sitzen hinter einer einzigen Schnittstelle, wobei Routing, Caching, Ratenbegrenzungen, Failover und Kostenkontrolle von der Laufzeit übernommen werden. Durch das Wechseln des Modells ändert sich Ihr Code nicht.

38ms
P50 Latenz des ersten Tokens
1M
Maximaler Kontext pro Anfrage (Tokens)
12,000
Spitzendurchsatz (Tokens/s)
99.99%
Anruferfolg, nachlaufende 90-Tage
Überblick

Die Technik rund um das Modell, verwaltet von der Laufzeit

Die Laufzeit verarbeitet Ratenbeschränkungen unter Last, Zeitüberschreitungen bei langen Kontexten, undurchsichtige Abrechnungen und das Umschreiben einer Eingabeaufforderungspipeline, nur um Modelle zu ändern. Semantisches Caching bedient wiederholte Anfragen, sehr langer Kontext wird parallel aufgeteilt und abgeleitet, und ein instabiles Modell führt einen Failover auf einen Hot-Standby in derselben Funktionsebene durch. Anrufer ändern nichts.

38ms
P50 Latenz des ersten Tokens
0-Zeilen
Für den Modellwechsel sind Codeänderungen erforderlich
41%
Durchschnittliche Token-Kosten, die durch semantisches Caching eingespart werden
Vorteile

Gebaut für die Produktion

01

Langer Kontext, konsistente Wendungen

Anweisungen gelten für lange Gespräche und einen großen technischen Kontext. Tool-Call-Ketten sind mehrere Ebenen tief verschachtelt und werden bei einem Fehler zurückgesetzt.

02

Streaming mit geringer Latenz

Nahegelegene Einstiegspunkte, warme Verbindungen und spekulative Dekodierung, Token für Token geliefert.

03

Integrierte Kostenkontrolle

Semantisches Caching, Kontextkomprimierung und Stapelzusammenführung werden gestapelt, wobei die Abrechnung Zeile für Zeile abgeglichen wird.

04

Automatisches Failover

Modelle in derselben Fähigkeitsebene sichern sich gegenseitig und die Degradationsrichtlinie wird pro Geschäftsbereich konfiguriert.

Fähigkeiten

API-Funktionen

Streaming oder vollständige Antwort

Übertragen Sie Token über SSE oder nehmen Sie das gesamte Ergebnis in einem Aufruf vom selben Endpunkt entgegen.

Tool-Aufrufe und strukturierte Ausgabe

Nativer Funktionsaufruf mit JSON-Schema-Einschränkungen, bereit zur Deserialisierung bei Ankunft.

Sehr langer Kontext

Lange Dokumente werden in Shards aufgeteilt und parallel verarbeitet, ohne selbst schreibende Aufteilungslogik.

Multimodaler Input

Bilder, PDFs, Audio und Text teilen sich ein Nachrichtenarray.

Semantischer Cache

Die Ähnlichkeitsschwelle ist einstellbar; Ein Treffer wird sofort zurückgegeben und nicht in Rechnung gestellt.

OpenAI SDK kompatibel

Vorhandener Code lässt sich ohne Änderungen verbinden und behält die erweiterten Funktionen des SDK bei.

Sprachassistenten des Geräts

Wandeln Sie natürliche Sprache in Gerätebefehle um und merken Sie sich, auf welchen Raum und welches Gerät sich der letzte Zug bezog.

In-App-Unterstützung und Selbstdiagnose

Wenn das Produkthandbuch und die Geräteprotokolle verbunden sind, können Sie auf Kopplungsfehler, Offline-Status und Warnungen antworten und sagen, was als Nächstes zu tun ist.

Szenen- und Automatisierungs-Authoring

Ein Benutzer beschreibt in einem Satz, was er möchte, und die Bedingungen, Aktionen und aktiven Stunden einer Automatisierung werden zur Überprüfung zurückgegeben.

Gerätebetriebsberichte

Verwandeln Sie Energieverbrauch, Laufzeit und Alarmverlauf in einen lesbaren Wochenbericht, gruppiert nach Raum oder Geschäft.

starsg = Starsg(api_key="sk-...")

stream = starsg.chat(
    model="claude-sonnet-4-6",
    messages=[{"role": "user",
                "content": "分析这份财报的风险点"}],
    attachments=["file_9f2a....pdf"],
    fallback="gpt-4o",   # 上游抖动即热备
    stream=True,
)

for chunk in stream:
    print(chunk.delta, end="")
Integrieren

Ein Aufruf deklariert das Verhalten

Streaming, Anhänge, Toolaufrufe und Fallback-Richtlinien werden alle im selben Aufruf deklariert – keine zusätzliche Orchestrierungsebene.

Python / Knoten / Los SDKEin API-Schlüssel
Lesen Sie die Integrationsdokumente

Beginnen Sie mit dem Bauen mit Textgenerierung

Registrieren Sie sich, um einen API-Schlüssel zu erstellen. Es verfügt über die gleiche Authentifizierung, Abrechnung und Beobachtbarkeit wie die anderen sechs Funktionen.