Aperçu du contenu du prototype. Les figures, les détails de l'auteur, les revendications du produit et les exemples API sont en attente de vérification ; les exemples ne sont pas des instructions d’intégration confirmées.
Nous parcourons chaque point de terminaison, paramètre et cas limite de notre couche de compatibilité OpenAI, y compris là où nous divergeons intentionnellement.
De nombreuses passerelles revendiquent la compatibilité OpenAI, puis abandonnent discrètement la moitié de la surface dont vous dépendez. Voici exactement ce que nous mettons en œuvre, ce que nous étendons et sur quoi nous divergeons délibérément.
Entièrement pris en charge
- /v1/chat/completions incluant le streaming, les outils, tool_choice et les sorties structurées
- /v1/embeddings avec traitement par lots
- /v1/images/generations et modifications
- /v1/audio/transcriptions, traductions et discours
- /v1/models avec identifiants qualifiés du fournisseur
Le commutateur à une ligne
from openai import OpenAI
client = OpenAI(
base_url="https://api.starsg.ai/v1",
api_key=STARSG_API_KEY,
)
Où nous divergeons
Trois différences délibérées. Premièrement, les identifiants de modèle sont qualifiés par le fournisseur, de sorte que le même nom ne signifie jamais deux choses. Deuxièmement, les en-têtes de limite de débit signalent la limite de votre passerelle groupée, et non celle du fournisseur en amont. Troisièmement, nous renvoyons un bloc amplink supplémentaire sur chaque réponse contenant le modèle réellement servi, l'état du cache et si un basculement s'est produit.
Nous ne faisons pas quoi que ce soit qui modifierait silencieusement la signification d’un champ. Les extensions vont dans extra_body à l'entrée et dans un bloc d'espace de noms à la sortie.
Les paramètres non pris en charge sont rejetés avec un 400 plutôt qu'ignorés. En supprimant silencieusement logit_bias, vous finissez par déboguer une régression de qualité pendant une semaine.