Предварительный просмотр содержимого прототипа. Рисунки, сведения об авторе, заявления о продукте и примеры API ожидают проверки; примеры не являются подтвержденными инструкциями по интеграции.
Мы просматриваем каждую конечную точку, параметр и крайний случай на нашем уровне совместимости OpenAI, включая те места, где мы намеренно расходимся.
Многие шлюзы заявляют о совместимости с OpenAI, а затем незаметно отказываются от половины площади поверхности, от которой вы зависите. Вот именно что мы реализуем, что расширяем, а где намеренно расходимся.
Полностью поддерживается
- /v1/chat/completions, включая потоковую передачу, инструменты, tool_choice и структурированные выходные данные.
- /v1/embeddings с пакетированием
- /v1/images/generations и правки
- /v1/audio/transcriptions, переводы и речь
- /v1/models с идентификаторами, указанными поставщиком
Однолинейный переключатель
from openai import OpenAI
client = OpenAI(
base_url="https://api.starsg.ai/v1",
api_key=STARSG_API_KEY,
)
Где мы расходимся
Три намеренных различия. Во-первых, идентификаторы моделей уточняются поставщиком, поэтому одно и то же имя никогда не означает двух вещей. Во-вторых, заголовки ограничения скорости сообщают об ограничении вашего объединенного шлюза, а не вышестоящего поставщика. В-третьих, мы возвращаем дополнительный блок amplink в каждом ответе, содержащем фактически обслуживаемую модель, состояние кэша и информацию о том, произошло ли аварийное переключение.
Ничего, что могло бы незаметно изменить смысл поля, мы не делаем. Расширения идут в extra_body на входе и в блоке пространства имен на выходе.
Неподдерживаемые параметры отклоняются с помощью 400, а не игнорируются. Тихо отбросив logit_bias, вы в конечном итоге будете отлаживать ухудшение качества в течение недели.