Trang chủ/Mô hình lớn/Tạo văn bản

Tạo văn bản

Gọi các mô hình lớn hàng đầu đằng sau một giao diện.

Mô hình Frontier nằm sau một giao diện duy nhất, với việc định tuyến, bộ nhớ đệm, giới hạn tốc độ, chuyển đổi dự phòng và kiểm soát chi phí được xử lý trong thời gian chạy. Việc chuyển đổi mô hình không làm thay đổi mã của bạn.

38ms
P50 độ trễ của mã thông báo đầu tiên
1M
Ngữ cảnh tối đa cho mỗi yêu cầu (mã thông báo)
12,000
Thông lượng cao nhất (mã thông báo/giây)
99.99%
Gọi thành công, kéo dài 90 ngày
Tổng quan

Kỹ thuật xung quanh mô hình, được xử lý bởi bộ thực thi

Thời gian chạy xử lý các giới hạn tốc độ khi tải, hết thời gian chờ trong bối cảnh dài, thanh toán không rõ ràng và viết lại quy trình nhắc nhở chỉ để thay đổi mô hình. Bộ nhớ đệm ngữ nghĩa phục vụ các yêu cầu lặp đi lặp lại, bối cảnh rất dài được phân chia và suy luận song song, đồng thời mô hình không ổn định sẽ chuyển sang chế độ chờ nóng ở cùng mức khả năng. Người gọi không thay đổi gì cả.

38ms
P50 độ trễ của mã thông báo đầu tiên
0 dòng
Thay đổi mã cần thiết để chuyển đổi mô hình
41%
Chi phí token trung bình được tiết kiệm nhờ bộ nhớ đệm ngữ nghĩa
Ưu điểm

Được xây dựng để sản xuất

01

Bối cảnh dài, lối rẽ nhất quán

Các hướng dẫn được áp dụng trong các cuộc hội thoại dài và bối cảnh kỹ thuật rộng lớn. Chuỗi lệnh gọi công cụ lồng sâu vào nhiều cấp độ và quay trở lại khi thất bại.

02

Truyền phát có độ trễ thấp

Các điểm vào lân cận, kết nối ấm áp và giải mã đầu cơ, được phân phối theo mã thông báo.

03

Kiểm soát chi phí được tích hợp sẵn

Bộ nhớ đệm ngữ nghĩa, nén ngữ cảnh và hợp nhất hàng loạt với nhau, với việc thanh toán được điều chỉnh theo từng dòng.

04

Tự động chuyển đổi dự phòng

Các mô hình có cùng cấp độ khả năng hỗ trợ lẫn nhau và chính sách xuống cấp được định cấu hình cho mỗi ngành nghề kinh doanh.

Khả năng

khả năng API

Đang truyền phát hoặc phản hồi đầy đủ

Đẩy mã thông báo qua SSE hoặc lấy toàn bộ kết quả trong một lệnh gọi từ cùng một điểm cuối.

Các lệnh gọi công cụ và kết quả đầu ra có cấu trúc

Gọi hàm gốc với các ràng buộc Lược đồ JSON, sẵn sàng giải tuần tự hóa khi đến nơi.

Ngữ cảnh rất dài

Các tài liệu dài được phân mảnh và xử lý song song, không có logic phân tách để bạn tự viết.

Đầu vào đa phương thức

Hình ảnh, PDF, âm thanh và văn bản chia sẻ một mảng tin nhắn.

Bộ đệm ngữ nghĩa

Ngưỡng tương tự có thể điều chỉnh được; một lần truy cập sẽ trả về ngay lập tức và không bị tính phí.

Tương thích với OpenAI SDK

Mã hiện tại kết nối mà không thay đổi và giữ nguyên các tính năng nâng cao của SDK.

Trường hợp sử dụng

Các trường hợp sử dụng phổ biến

Thiết bị trợ lý giọng nói

Biến ngôn ngữ tự nhiên thành lệnh của thiết bị, ghi nhớ phòng nào và thiết bị nào lượt cuối cùng nhắc đến.

Hỗ trợ trong ứng dụng và tự chẩn đoán

Với hướng dẫn sử dụng sản phẩm và nhật ký thiết bị được kết nối, hãy trả lời các lỗi ghép nối, trạng thái ngoại tuyến và cảnh báo cũng như cho biết những việc cần làm tiếp theo.

Tạo cảnh và tự động hóa

Người dùng mô tả những gì họ muốn trong một câu và các điều kiện, hành động cũng như số giờ hoạt động của tự động hóa sẽ quay lại để xem xét.

Báo cáo hoạt động của thiết bị

Biến lịch sử sử dụng năng lượng, thời gian chạy và cảnh báo thành một báo cáo hàng tuần có thể đọc được, được nhóm theo phòng hoặc theo cửa hàng.

starsg = Starsg(api_key="sk-...")

stream = starsg.chat(
    model="claude-sonnet-4-6",
    messages=[{"role": "user",
                "content": "分析这份财报的风险点"}],
    attachments=["file_9f2a....pdf"],
    fallback="gpt-4o",   # 上游抖动即热备
    stream=True,
)

for chunk in stream:
    print(chunk.delta, end="")
Tích hợp

Một cuộc gọi khai báo hành vi

Truyền phát, tệp đính kèm, lệnh gọi công cụ và chính sách dự phòng đều được khai báo trong cùng một lệnh gọi — không có lớp điều phối bổ sung.

Python / Node / Go SDKMột khóa API
Đọc tài liệu tích hợp

Bắt đầu xây dựng với Tạo văn bản

Đăng ký để tạo khóa API. Nó chia sẻ cùng quyền xác thực, thanh toán và khả năng quan sát như sáu khả năng còn lại.