Anteprima del contenuto del prototipo. Le cifre, i dettagli dell'autore, le dichiarazioni sui prodotti e gli esempi API sono in attesa di verifica; gli esempi non sono istruzioni di integrazione confermate.
Esaminiamo ogni endpoint, parametro e caso limite nel nostro livello di compatibilità OpenAI, compresi i punti in cui divergiamo intenzionalmente.
Molti gateway dichiarano la compatibilità con OpenAI e poi abbandonano silenziosamente la metà della superficie da cui dipendi. Ecco esattamente cosa implementiamo, cosa estendiamo e dove divergiamo deliberatamente.
Completamente supportato
- /v1/chat/completions incluso streaming, strumenti, tool_choice e output strutturati
- /v1/embeddings con dosaggio
- /v1/images/generations e modifiche
- /v1/audio/transcriptions, traduzioni e parlato
- /v1/models con ID qualificati dal fornitore
L'interruttore a una linea
from openai import OpenAI
client = OpenAI(
base_url="https://api.starsg.ai/v1",
api_key=STARSG_API_KEY,
)
Dove divergiamo
Tre differenze intenzionali. Innanzitutto, gli ID modello sono qualificati dal fornitore, quindi lo stesso nome non significa mai due cose. In secondo luogo, le intestazioni del limite di velocità riportano il limite del gateway in pool, non quello del fornitore upstream. In terzo luogo, restituiamo un blocco amplink aggiuntivo su ogni risposta che trasporta il modello effettivamente servito, lo stato della cache e se si è verificato un failover.
Tutto ciò che potrebbe cambiare silenziosamente il significato di un campo, non lo facciamo. Le estensioni vanno in extra_body in entrata e in un blocco con spazi dei nomi in uscita.
I parametri non supportati vengono rifiutati con 400 anziché ignorati. Eliminare silenziosamente logit_bias è il modo in cui si finisce per eseguire il debug di una regressione della qualità per una settimana.