Accueil/Grands modèles/Génération de texte

Génération de texte

Appelez les grands modèles derrière une seule interface.

Les modèles Frontier se trouvent derrière une interface unique, avec le routage, la mise en cache, les limites de débit, le basculement et le contrôle des coûts gérés par le runtime. Changer de modèle ne change pas votre code.

38ms
Latence du premier jeton P50
1M
Contexte maximum par requête (jetons)
12,000
Débit maximal (jetons/s)
99.99%
Appel réussi, derniers jours 90
Aperçu

L'ingénierie autour du modèle, gérée par le runtime

Le runtime gère les limites de débit en cas de charge, les délais d'attente en cas de contexte long, la facturation opaque et la réécriture d'un pipeline d'invite uniquement pour changer de modèle. La mise en cache sémantique répond aux requêtes répétées, un contexte très long est partagé et déduit en parallèle, et un modèle fragile bascule vers un serveur de secours automatique du même niveau de fonctionnalités. Les appelants ne changent rien.

38ms
Latence du premier jeton P50
Lignes 0
Modifications de code nécessaires pour changer de modèle
41%
Coût moyen des jetons économisé grâce à la mise en cache sémantique
Avantages

Conçu pour la production

01

Contexte long, virages cohérents

Les instructions tiennent dans de longues conversations et dans un contexte d’ingénierie étendu. Les chaînes d'appels d'outils s'imbriquent sur plusieurs niveaux en profondeur et reviennent en arrière en cas d'échec.

02

Streaming à faible latence

Points d'entrée à proximité, connexions chaleureuses et décodage spéculatif, livrés jeton par jeton.

03

Contrôle des coûts intégré

La mise en cache sémantique, la compression de contexte et la fusion par lots s'empilent, avec une facturation réconciliée ligne par ligne.

04

Basculement automatique

Les modèles du même niveau de capacité se sauvegardent mutuellement et la politique de dégradation est configurée par secteur d'activité.

Capacités

Capacités du API

Streaming ou réponse complète

Envoyez les jetons sur SSE ou récupérez l’intégralité du résultat en un seul appel depuis le même point de terminaison.

Appels d'outils et sortie structurée

Appel de fonction native avec les contraintes de schéma JSON, prête à désérialiser à l'arrivée.

Contexte très long

Les documents longs sont fragmentés et traités en parallèle, sans logique de fractionnement à écrire vous-même.

Entrée multimodale

Les images, les PDF, l'audio et le texte partagent un seul tableau de messages.

Cache sémantique

Le seuil de similarité est réglable ; un hit revient immédiatement et n'est pas facturé.

Compatible OpenAI SDK

Le code existant se connecte sans modification et conserve les fonctionnalités avancées du SDK.

Cas d'utilisation

Cas d'utilisation courants

Assistants vocaux de l'appareil

Transformez le langage naturel en commandes d'appareil, en vous rappelant à quelle pièce et à quel appareil le dernier tour faisait référence.

Assistance intégrée à l'application et autodiagnostic

Une fois le manuel du produit et les journaux de l'appareil connectés, répondez aux échecs de couplage, aux états hors ligne et aux alertes, et dites quoi faire ensuite.

Création de scènes et d'automatisations

Un utilisateur décrit ce qu'il veut en une phrase, et les conditions, actions et heures d'activité d'une automatisation reviennent pour examen.

Rapports de fonctionnement de l'appareil

Transformez la consommation d'énergie, la durée d'exécution et l'historique des alertes en un rapport hebdomadaire lisible, regroupé par pièce ou par magasin.

starsg = Starsg(api_key="sk-...")

stream = starsg.chat(
    model="claude-sonnet-4-6",
    messages=[{"role": "user",
                "content": "分析这份财报的风险点"}],
    attachments=["file_9f2a....pdf"],
    fallback="gpt-4o",   # 上游抖动即热备
    stream=True,
)

for chunk in stream:
    print(chunk.delta, end="")
Intégrer

Un appel déclare le comportement

Le streaming, les pièces jointes, les appels d’outils et la stratégie de secours sont tous déclarés dans le même appel – sans couche d’orchestration supplémentaire.

Python / Nœud / Go SDKUne clé API
Lire les documents d'intégration

Commencez à construire avec Génération de texte

Inscrivez-vous pour créer une clé API. Il partage les mêmes authentification, facturation et observabilité que les six autres fonctionnalités.