Inicio/Modelos grandes/Generación de texto

Generación de texto

Llame a los principales modelos grandes detrás de una interfaz.

Los modelos Frontier se encuentran detrás de una única interfaz, con enrutamiento, almacenamiento en caché, límites de velocidad, conmutación por error y control de costos manejados por el tiempo de ejecución. Cambiar de modelo no cambia su código.

38ms
Latencia del primer token P50
1M
Contexto máximo por solicitud (tokens)
12,000
Rendimiento máximo (tokens/s)
99.99%
Llamada exitosa, días posteriores a 90
Descripción general

La ingeniería en torno al modelo, manejada por el tiempo de ejecución.

El tiempo de ejecución maneja límites de velocidad bajo carga, tiempos de espera en contexto prolongado, facturación opaca y reescritura de un canal de aviso solo para cambiar modelos. El almacenamiento en caché semántico atiende solicitudes repetidas, un contexto muy extenso se fragmenta e infiere en paralelo y un modelo inestable conmuta por error a un modo de espera activo en el mismo nivel de capacidad. Las personas que llaman no cambian nada.

38ms
Latencia del primer token P50
Líneas 0
Se necesitan cambios de código para cambiar de modelo
41%
Costo promedio de token ahorrado por el almacenamiento en caché semántico
Ventajas

Construido para la producción

01

Contexto largo, giros consistentes

Las instrucciones se mantienen en largas conversaciones y en un amplio contexto de ingeniería. Las cadenas de llamada de herramientas se anidan a varios niveles de profundidad y retroceden en caso de falla.

02

Transmisión de baja latencia

Puntos de entrada cercanos, conexiones cálidas y decodificación especulativa, entregados token por token.

03

Control de costos incorporado

El almacenamiento en caché semántico, la compresión de contexto y la fusión por lotes se combinan, con la facturación conciliada línea por línea.

04

Conmutación por error automática

Los modelos en el mismo nivel de capacidad se respaldan entre sí y la política de degradación se configura por línea de negocio.

Capacidades

Capacidades de API

Streaming o respuesta completa

Inserte tokens a través de SSE o obtenga el resultado completo en una llamada desde el mismo punto final.

Llamadas a herramientas y salida estructurada

Llamada a función nativa con restricciones de esquema JSON, lista para deserializar a su llegada.

Contexto muy largo

Los documentos largos se fragmentan y procesan en paralelo, sin lógica de división para escribirlos usted mismo.

Entrada multimodal

Imágenes, archivos PDF, audio y texto comparten una matriz de mensajes.

caché semántica

El umbral de similitud es ajustable; un hit regresa inmediatamente y no se factura.

Compatible con OpenAI SDK.

El código existente se conecta sin cambios y mantiene las funciones avanzadas del SDK.

Asistentes de voz del dispositivo

Convierta el lenguaje natural en comandos de dispositivos, recordando a qué habitación y a qué dispositivo se refirió el último turno.

Soporte en la aplicación y autodiagnóstico

Con el manual del producto y los registros del dispositivo conectados, responda fallas de emparejamiento, estados fuera de línea y alertas, y diga qué hacer a continuación.

Autoría de escenas y automatización.

Un usuario describe lo que quiere en una frase y las condiciones, acciones y horas activas de una automatización vuelven para su revisión.

Informes de funcionamiento del dispositivo

Convierta el uso de energía, el tiempo de ejecución y el historial de alertas en un informe semanal legible, agrupado por habitación o tienda.

starsg = Starsg(api_key="sk-...")

stream = starsg.chat(
    model="claude-sonnet-4-6",
    messages=[{"role": "user",
                "content": "分析这份财报的风险点"}],
    attachments=["file_9f2a....pdf"],
    fallback="gpt-4o",   # 上游抖动即热备
    stream=True,
)

for chunk in stream:
    print(chunk.delta, end="")
Integrar

Una llamada declara el comportamiento.

La transmisión, los archivos adjuntos, las llamadas a herramientas y la política de respaldo se declaran en la misma llamada, sin capa de orquestación adicional.

Python / Nodo / Ir SDKUna llave API
Lea los documentos de integración

Comience a construir con Generación de texto

Regístrese para crear una clave API. Comparte la misma autenticación, facturación y observabilidad que las otras seis capacidades.