产品简介
模型之外的工程问题由运行时处理
并发限流、长上下文超时、账单不透明、换模型要重写 prompt 管线，这些都在运行时里解决。语义缓存自动命中重复请求，超长上下文分片后并行推理，单个模型抖动时切到同能力档位的热备，调用方不改代码。
38ms
首 token 延迟 P50
0 行
切换模型需要改动的业务代码
41%
语义缓存带来的平均 token 成本下降
核心优势
为生产环境设计
01
长上下文与多轮一致
长对话与大体量工程上下文里保持指令一致；工具调用链支持多层嵌套，中途失败自动回滚重试。
02
低延迟流式输出
就近接入、连接预热与推测解码，逐 token 流式下发。
03
成本控制内建
语义缓存、上下文压缩与批量合并三层叠加，账单按调用明细逐条对账。
04
自动热备与降级
同能力档位的模型互为热备，上游异常自动切换；降级策略按业务线配置。
功能特性
接口能力
流式与非流式双模
SSE 逐 token 推送，或一次性返回完整结果，同一接口两种消费方式。
工具调用与结构化输出
原生 function calling，支持 JSON Schema 强约束，返回即可直接反序列化。
超长上下文
长文档自动分片并行，不需要你手写切分逻辑。
多模态输入
图片、PDF、音频与文本混排进同一条 messages，模型统一理解。
语义缓存
相似度阈值可调，命中后直接返回且不计费。
OpenAI SDK 兼容
已有代码可平滑接入，不影响原生 SDK 的进阶能力。
starsg = Starsg(api_key="sk-...") stream = starsg.chat( model="claude-sonnet-4-6", messages=[{"role": "user", "content": "分析这份财报的风险点"}], attachments=["file_9f2a....pdf"], fallback="gpt-4o", # 上游抖动即热备 stream=True, ) for chunk in stream: print(chunk.delta, end="")