Home/Modelli di grandi dimensioni/Generazione del testo

Generazione del testo

Chiama i principali modelli di grandi dimensioni dietro un'unica interfaccia.

I modelli di frontiera si trovano dietro un'unica interfaccia, con routing, memorizzazione nella cache, limiti di velocità, failover e controllo dei costi gestiti dal runtime. Il cambio di modello non modifica il codice.

38ms
P50 latenza del primo token
1M
Contesto massimo per richiesta (token)
12,000
Throughput di picco (token/s)
99.99%
Chiamata riuscita, dopo 90 giorni
Panoramica

L'ingegneria attorno al modello, gestita dal runtime

Il runtime gestisce limiti di velocità sotto carico, timeout su contesti lunghi, fatturazione opaca e riscrittura di una pipeline di prompt solo per modificare i modelli. La memorizzazione nella cache semantica soddisfa richieste ripetute, un contesto molto lungo viene suddiviso in partizioni e dedotto in parallelo e un modello instabile esegue il failover su un hot standby nello stesso livello di capacità. I chiamanti non cambiano nulla.

38ms
P50 latenza del primo token
Linee 0
Modifiche al codice necessarie per cambiare modello
41%
Costo medio dei token risparmiato grazie alla memorizzazione nella cache semantica
Vantaggi

Costruito per la produzione

01

Contesto lungo, svolte coerenti

Le istruzioni restano valide per lunghe conversazioni e ampi contesti ingegneristici. Le catene di chiamate agli strumenti si annidano a diversi livelli di profondità e si ripristinano in caso di errore.

02

Streaming a bassa latenza

Punti di ingresso vicini, connessioni calde e decodifica speculativa, consegnati token per token.

03

Controllo dei costi integrato

Caching semantico, compressione del contesto e fusione batch di stack insieme, con fatturazione riconciliata riga per riga.

04

Failover automatico

I modelli nello stesso livello di capacità si supportano a vicenda e la politica di degrado è configurata per linea di business.

Capacità

Funzionalità API

Streaming o risposta completa

Invia i token su SSE o ottieni l'intero risultato in una chiamata dallo stesso endpoint.

Chiamate degli strumenti e output strutturato

Chiamata di funzione nativa con vincoli dello schema JSON, pronta per la deserializzazione all'arrivo.

Contesto molto lungo

I documenti lunghi vengono suddivisi ed elaborati in parallelo, senza alcuna logica di suddivisione per scriverli autonomamente.

Ingresso multimodale

Immagini, PDF, audio e testo condividono un array di messaggi.

Cache semantica

La soglia di somiglianza è regolabile; un successo ritorna immediatamente e non viene fatturato.

OpenAI SDK compatibile

Il codice esistente si connette senza modifiche e mantiene le funzionalità avanzate dello SDK.

Assistenti vocali del dispositivo

Trasforma il linguaggio naturale nei comandi del dispositivo, ricordando a quale stanza e a quale dispositivo si è riferita l'ultima svolta.

Supporto in-app e autodiagnosi

Con il manuale del prodotto e i registri del dispositivo collegati, rispondi agli errori di accoppiamento, agli stati offline e agli avvisi e indica cosa fare dopo.

Creazione di scene e automazione

Un utente descrive ciò che desidera in una frase e le condizioni, le azioni e gli orari di attività di un'automazione tornano per essere esaminati.

Rapporti sul funzionamento del dispositivo

Trasforma il consumo energetico, il tempo di funzionamento e la cronologia degli avvisi in un report settimanale leggibile, raggruppato per stanza o per negozio.

starsg = Starsg(api_key="sk-...")

stream = starsg.chat(
    model="claude-sonnet-4-6",
    messages=[{"role": "user",
                "content": "分析这份财报的风险点"}],
    attachments=["file_9f2a....pdf"],
    fallback="gpt-4o",   # 上游抖动即热备
    stream=True,
)

for chunk in stream:
    print(chunk.delta, end="")
Integrare

Una chiamata dichiara il comportamento

Streaming, allegati, chiamate agli strumenti e policy di fallback vengono tutti dichiarati nella stessa chiamata, senza alcun livello di orchestrazione aggiuntivo.

Python / Nodo / Vai SDKUna chiave API
Leggi i documenti di integrazione

Inizia a costruire con Generazione del testo

Iscriviti per creare una chiave API. Condivide la stessa autenticazione, fatturazione e osservabilità delle altre sei funzionalità.