Главная/Большие модели/Генерация текста

Генерация текста

Вызов ведущих крупных моделей через один интерфейс.

Модели Frontier используют единый интерфейс, а маршрутизация, кэширование, ограничения скорости, аварийное переключение и контроль затрат выполняются средой выполнения. Переключение моделей не меняет ваш код.

38ms
P50 задержка первого токена
1M
Максимальный контекст на запрос (токены)
12,000
Пиковая пропускная способность (токены/с)
99.99%
Успешный вызов, после 90 дней.
Обзор

Проектирование модели, выполняемое средой выполнения

Среда выполнения обрабатывает ограничения скорости под нагрузкой, тайм-ауты в длинном контексте, непрозрачное выставление счетов и переписывание конвейера подсказок только для изменения моделей. Семантическое кэширование обслуживает повторяющиеся запросы, очень длинный контекст сегментируется и выводится параллельно, а нестабильная модель переключается на горячий резерв на том же уровне возможностей. Звонки ничего не меняют.

38ms
P50 задержка первого токена
Строки 0
Изменения кода, необходимые для переключения моделей
41%
Средняя стоимость токена, сэкономленная за счет семантического кэширования
Преимущества

Создан для производства

01

Длинный контекст, последовательные повороты

Инструкции применимы к длинным разговорам и большому инженерному контексту. Цепочки вызовов инструментов вложены на несколько уровней и откатываются в случае сбоя.

02

Потоковая передача с низкой задержкой

Близлежащие точки входа, теплые соединения и спекулятивное декодирование, доставляемое токен за токеном.

03

Встроенный контроль затрат

Семантическое кэширование, сжатие контекста и пакетное объединение совмещены, при этом выставление счетов согласовывается построчно.

04

Автоматическое переключение при отказе

Модели на одном и том же уровне возможностей поддерживают друг друга, а политика деградации настраивается для каждого бизнес-направления.

Возможности

Возможности API

Потоковая передача или полный ответ

Отправьте токены через SSE или получите весь результат за один вызов из одной конечной точки.

Вызовы инструментов и структурированный вывод

Собственный вызов функции с ограничениями схемы JSON, готовый к десериализации по прибытии.

Очень длинный контекст

Длинные документы сегментируются и обрабатываются параллельно, без необходимости самостоятельного написания логики разделения.

Мультимодальный ввод

Изображения, PDF-файлы, аудио и текст используют один массив сообщений.

Семантический кеш

Порог сходства регулируется; попадание возвращается немедленно и не оплачивается.

Совместимость с OpenAI SDK

Существующий код подключается без изменений и сохраняет расширенные функции SDK.

Варианты использования

Распространенные случаи использования

Голосовые помощники устройства

Превратите естественный язык в команды устройств, запоминая, к какой комнате и к какому устройству относится последний поворот.

Поддержка в приложении и самодиагностика

Подключив руководство по продукту и журналы устройства, вы сможете отвечать на сбои сопряжения, автономные состояния и оповещения, а также говорить, что делать дальше.

Создание сцен и автоматизации

Пользователь описывает, что он хочет, в одном предложении, а условия, действия и часы работы автоматизации возвращаются на рассмотрение.

Отчеты о работе устройства

Превратите историю использования энергии, времени работы и предупреждений в удобочитаемый еженедельный отчет, сгруппированный по помещениям или магазинам.

starsg = Starsg(api_key="sk-...")

stream = starsg.chat(
    model="claude-sonnet-4-6",
    messages=[{"role": "user",
                "content": "分析这份财报的风险点"}],
    attachments=["file_9f2a....pdf"],
    fallback="gpt-4o",   # 上游抖动即热备
    stream=True,
)

for chunk in stream:
    print(chunk.delta, end="")
Интегрировать

Один вызов объявляет поведение

Потоковая передача, вложения, вызовы инструментов и резервная политика объявляются в одном вызове — без дополнительного уровня оркестрации.

Python/Узел/Go SDKОдин ключ API
Прочтите документацию по интеграции

Начните сборку с Генерация текста

Зарегистрируйтесь, чтобы создать ключ API. Он имеет те же возможности аутентификации, выставления счетов и наблюдения, что и остальные шесть возможностей.