Generazione del testo
Chiama i principali modelli di grandi dimensioni dietro un'unica interfaccia.
I modelli di frontiera si trovano dietro un'unica interfaccia, con routing, memorizzazione nella cache, limiti di velocità, failover e controllo dei costi gestiti dal runtime. Il cambio di modello non modifica il codice.
L'ingegneria attorno al modello, gestita dal runtime
Il runtime gestisce limiti di velocità sotto carico, timeout su contesti lunghi, fatturazione opaca e riscrittura di una pipeline di prompt solo per modificare i modelli. La memorizzazione nella cache semantica soddisfa richieste ripetute, un contesto molto lungo viene suddiviso in partizioni e dedotto in parallelo e un modello instabile esegue il failover su un hot standby nello stesso livello di capacità. I chiamanti non cambiano nulla.
Costruito per la produzione
Contesto lungo, svolte coerenti
Le istruzioni restano valide per lunghe conversazioni e ampi contesti ingegneristici. Le catene di chiamate agli strumenti si annidano a diversi livelli di profondità e si ripristinano in caso di errore.
Streaming a bassa latenza
Punti di ingresso vicini, connessioni calde e decodifica speculativa, consegnati token per token.
Controllo dei costi integrato
Caching semantico, compressione del contesto e fusione batch di stack insieme, con fatturazione riconciliata riga per riga.
Failover automatico
I modelli nello stesso livello di capacità si supportano a vicenda e la politica di degrado è configurata per linea di business.
Funzionalità API
Streaming o risposta completa
Invia i token su SSE o ottieni l'intero risultato in una chiamata dallo stesso endpoint.
Chiamate degli strumenti e output strutturato
Chiamata di funzione nativa con vincoli dello schema JSON, pronta per la deserializzazione all'arrivo.
Contesto molto lungo
I documenti lunghi vengono suddivisi ed elaborati in parallelo, senza alcuna logica di suddivisione per scriverli autonomamente.
Ingresso multimodale
Immagini, PDF, audio e testo condividono un array di messaggi.
Cache semantica
La soglia di somiglianza è regolabile; un successo ritorna immediatamente e non viene fatturato.
OpenAI SDK compatibile
Il codice esistente si connette senza modifiche e mantiene le funzionalità avanzate dello SDK.
Assistenti vocali del dispositivo
Trasforma il linguaggio naturale nei comandi del dispositivo, ricordando a quale stanza e a quale dispositivo si è riferita l'ultima svolta.
Supporto in-app e autodiagnosi
Con il manuale del prodotto e i registri del dispositivo collegati, rispondi agli errori di accoppiamento, agli stati offline e agli avvisi e indica cosa fare dopo.
Creazione di scene e automazione
Un utente descrive ciò che desidera in una frase e le condizioni, le azioni e gli orari di attività di un'automazione tornano per essere esaminati.
Rapporti sul funzionamento del dispositivo
Trasforma il consumo energetico, il tempo di funzionamento e la cronologia degli avvisi in un report settimanale leggibile, raggruppato per stanza o per negozio.
starsg = Starsg(api_key="sk-...") stream = starsg.chat( model="claude-sonnet-4-6", messages=[{"role": "user", "content": "分析这份财报的风险点"}], attachments=["file_9f2a....pdf"], fallback="gpt-4o", # 上游抖动即热备 stream=True, ) for chunk in stream: print(chunk.delta, end="")
Una chiamata dichiara il comportamento
Streaming, allegati, chiamate agli strumenti e policy di fallback vengono tutti dichiarati nella stessa chiamata, senza alcun livello di orchestrazione aggiuntivo.
Inizia a costruire con Generazione del testo
Iscriviti per creare una chiave API. Condivide la stessa autenticazione, fatturazione e osservabilità delle altre sei funzionalità.