テキストの生成
1 つのインターフェイスの背後で主要な大規模モデルを呼び出します。
フロンティア モデルは単一のインターフェイスの背後にあり、ルーティング、キャッシュ、レート制限、フェイルオーバー、コスト制御がランタイムによって処理されます。モデルを切り替えてもコードは変更されません。
ランタイムによって処理されるモデル周辺のエンジニアリング
ランタイムは、負荷時のレート制限、長いコンテキストでのタイムアウト、不透明な請求、モデルを変更するためだけのプロンプト パイプラインの書き換えを処理します。セマンティック キャッシュは繰り返しのリクエストに対応し、非常に長いコンテキストはシャーディングされて並行して推論され、不安定なモデルは同じ機能層のホット スタンバイにフェイルオーバーします。呼び出し側は何も変更しません。
実稼働用に構築
長い文脈、一貫したターン
指示は、長い会話や大規模なエンジニアリングのコンテキストにわたって保持されます。ツール呼び出しチェーンは数レベルの深さでネストされ、失敗するとロールバックされます。
低遅延ストリーミング
近くのエントリ ポイント、ウォーム接続、投機的デコード、トークンごとに配信されます。
コスト管理機能を内蔵
セマンティック キャッシュ、コンテキスト圧縮、バッチ マージがスタックされ、請求は行ごとに調整されます。
自動フェイルオーバー
同じ機能層内のモデルは相互にバックアップし、劣化ポリシーはビジネスラインごとに構成されます。
APIの機能
ストリーミングまたは完全な応答
SSE 経由でトークンをプッシュするか、同じエンドポイントから 1 回の呼び出しで結果全体を受け取ります。
ツール呼び出しと構造化された出力
JSON スキーマ制約を使用したネイティブ関数呼び出し。到着時に逆シリアル化する準備ができています。
非常に長いコンテキスト
長いドキュメントは分割されて並列処理され、自分でロジックを分割する必要はありません。
マルチモーダル入力
画像、PDF、オーディオ、テキストは 1 つのメッセージ配列を共有します。
セマンティックキャッシュ
類似性のしきい値は調整可能です。ヒットはすぐに返され、課金されません。
OpenAI SDK互換
既存のコードは変更せずに接続し、SDK の高度な機能を維持します。
デバイスの音声アシスタント
自然言語をデバイス コマンドに変換し、最後のターンがどの部屋とどのデバイスを参照したかを記憶します。
アプリ内サポートと自己診断
製品マニュアルとデバイス ログが接続されている状態で、ペアリングの失敗、オフライン状態、アラートに応答し、次に何をすべきかを指示します。
シーンとオートメーションのオーサリング
ユーザーが欲しいものを一文で説明すると、自動化の条件、アクション、アクティブ時間が戻ってきて確認されます。
デバイスの動作レポート
エネルギー使用量、稼働時間、アラート履歴を、部屋ごとまたは店舗ごとにグループ化した読みやすい週次レポートに変換します。
starsg = Starsg(api_key="sk-...") stream = starsg.chat( model="claude-sonnet-4-6", messages=[{"role": "user", "content": "分析这份财报的风险点"}], attachments=["file_9f2a....pdf"], fallback="gpt-4o", # 上游抖动即热备 stream=True, ) for chunk in stream: print(chunk.delta, end="")
1 回の呼び出しで動作を宣言します
ストリーミング、添付ファイル、ツール呼び出し、フォールバック ポリシーはすべて同じ呼び出しで宣言され、追加のオーケストレーション レイヤーは必要ありません。