런타임에 의해 처리되는 모델 주변 엔지니어링
런타임은 로드 시 속도 제한, 긴 컨텍스트의 시간 초과, 불투명한 청구 및 모델 변경을 위한 프롬프트 파이프라인 재작성을 처리합니다. 의미론적 캐싱은 반복되는 요청을 처리하고, 매우 긴 컨텍스트를 분할하여 병렬로 유추하며, 불안정한 모델은 동일한 기능 계층의 상시 대기 모드로 장애 조치됩니다. 발신자는 아무것도 변경하지 않습니다.
생산용으로 제작됨
긴 컨텍스트, 일관된 회전
지침은 긴 대화와 대규모 엔지니어링 컨텍스트 전반에 걸쳐 적용됩니다. 도구 호출 체인은 여러 수준 깊이로 중첩되며 실패 시 롤백됩니다.
저지연 스트리밍
근처 진입점, 웜 연결 및 추측 디코딩이 토큰별로 전달됩니다.
비용 관리 내장
시맨틱 캐싱, 컨텍스트 압축 및 일괄 병합 스택을 함께 사용하고 청구서가 한 줄씩 조정됩니다.
자동 장애 조치
같은 성능 등급의 모델이 서로 백업하며, 서비스별로 대체 처리 정책을 설정합니다.
API 기능
스트리밍 또는 전체 응답
SSE를 통해 토큰을 푸시하거나 동일한 끝점에서 한 번의 호출로 전체 결과를 가져옵니다.
도구 호출 및 구조화된 출력
JSON 스키마 제약 조건을 사용하여 호출하는 기본 함수는 도착 시 역직렬화할 준비가 되어 있습니다.
매우 긴 컨텍스트
긴 문서는 분할되어 병렬로 처리되며 직접 작성하기 위한 분할 논리가 없습니다.
다중 모드 입력
이미지, PDF, 오디오 및 텍스트는 하나의 메시지 배열을 공유합니다.
시맨틱 캐시
유사성 임계값은 조정 가능합니다. 조회는 즉시 반환되며 비용이 청구되지 않습니다.
OpenAI SDK 호환
기존 코드는 변경 없이 연결되며 SDK의 고급 기능을 유지합니다.
장치 음성 도우미
자연어를 장치 명령으로 변환하여 마지막 차례에서 어떤 방과 장치를 참조했는지 기억합니다.
인앱 지원 및 자가 진단
제품 설명서와 장치 로그가 연결된 상태에서 페어링 실패, 오프라인 상태 및 경고에 응답하고 다음에 수행할 작업을 알려줍니다.
장면 및 자동화 작성
사용자가 원하는 것을 한 문장으로 설명하면 자동화의 조건, 작업 및 활성 시간이 검토를 위해 다시 돌아옵니다.
장치 작동 보고서
에너지 사용, 런타임 및 경고 내역을 공간별 또는 매장별로 그룹화하여 읽기 쉬운 주간 보고서로 변환합니다.
starsg = Starsg(api_key="sk-...") stream = starsg.chat( model="claude-sonnet-4-6", messages=[{"role": "user", "content": "分析这份财报的风险点"}], attachments=["file_9f2a....pdf"], fallback="gpt-4o", # 上游抖动即热备 stream=True, ) for chunk in stream: print(chunk.delta, end="")
한 번의 호출로 동작을 선언합니다.
스트리밍, 첨부 파일, 도구 호출 및 폴백 정책은 모두 동일한 호출에서 선언되며 추가 오케스트레이션 계층이 없습니다.