Предварительный просмотр содержимого прототипа. Рисунки, сведения об авторе, заявления о продукте и примеры API ожидают проверки; примеры не являются подтвержденными инструкциями по интеграции.
Как мы обрабатываем запросы токенов 1M без скачков задержки — стратегия сегментирования, параллельное декодирование и конвейер сжатия контекста.
Запрос токена 1M — это не большой маленький запрос. Наивная обработка приводит к скачкам задержки, которые нарушают все имеющиеся у вас тайм-ауты в нисходящем направлении. Три метода сохраняют p99 неизменным по мере роста контекста.
Шардинг предварительного заполнения
Предварительное заполнение является доминирующей стоимостью в длинном контексте и хорошо распараллеливается. Мы разделяем приглашение по семантическим границам, предварительно заполняем сегменты одновременно на разных устройствах и сшиваем KV-кеш перед началом декодирования. Выше токенов 200k это сокращает время появления первого токена примерно на 60%.
Параллельное декодирование
Декодирование является последовательным по своей природе, но спекулятивное декодирование с использованием небольшой черновой модели восстанавливает большую часть потерь. В проекте предлагается несколько токенов, цель проверяется за один проход, а уровень принятия структурированного вывода превышает 70%.
Сжатие контекста
- Дедублируйте повторяющиеся шаблоны в документах до того, как запрос покинет шлюз.
- Отбрасывайте фрагменты извлечения ниже минимального уровня релевантности, а не заполняйте их до фиксированного k.
- Подведите итоги в долгих разговорах старше последних двадцати лет.
Большинство запросов токенов 1M не обязательно должны быть токенами 1M. Медианное количество сжимаемых отходов в клиентском трафике составляет 23%, и их удаление происходит быстрее и дешевле, чем качественное обслуживание.
Бюджеты токенов
Установите жесткий потолок для каждого запроса и почасовой бюджет для каждого клиента. Без того и другого один цикл вышедшего из-под контроля агента может потреблять дневную мощность за двадцать минут — наиболее распространенный класс инцидентов, который мы наблюдаем в рабочих нагрузках с длинным контекстом.