Предварительный просмотр содержимого прототипа. Рисунки, сведения об авторе, заявления о продукте и примеры API ожидают проверки; примеры не являются подтвержденными инструкциями по интеграции.
Наши данные ежедневных вызовов 140M показывают, что семантическое кэширование устраняет избыточные запросы. Вот как показатель попадания зависит от трафика.
При ежедневных вызовах 140M на шлюз Starsg подсказки 31% практически дублируют запрос, который мы обслужили в предыдущие часы 24. Кэширование с точным совпадением улавливает едва треть из них. Семантическое кэширование улавливает все остальное — и это самое большое сокращение статей расходов, которое большинство команд может сделать без изменения модели.
Что считается попаданием в кэш
Мы встраиваем каждое входящее приглашение, выполняем поиск по собственному векторному индексу арендатора и рассматриваем результат как совпадение, когда косинусное сходство превышает пороговое значение для каждого маршрута. По умолчанию используется 0.97 для фактического поиска и 0.99 для всего, что вызывающая сторона помечает как генеративную. Ниже порогового значения запрос передается в восходящий поток, а ответ записывается обратно в индекс.
- Трафик поддержки и часто задаваемых вопросов: 52% — доминируют одни и те же двадцать вопросов
- Пополнение каталога продукции: коэффициент попадания 38%, обусловленный повторяющимися описаниями SKU
- Помощь по коду: коэффициент попадания 19%; подсказки содержат уникальный контекст файла
- Открытый чат: процент попаданий 6% — кэширование здесь не главное
Как показатель попадания зависит от трафика
Частота попаданий зависит от плотности подсказок, а не от общего объема. Рабочая нагрузка при вызовах 10k в день и одна при вызовах 10M в день сходятся к одной и той же скорости, как только индекс получает примерно 50k различные запросы. Что меняется в объеме, так это время достижения этой точки: крупные арендаторы прогреваются за часы, мелкие за недели.
В среднем по всем арендаторам с включенным кэшем в прошлом квартале семантическое кэширование удалило 41% оплачиваемых восходящих токенов. Медианная добавленная задержка при попадании: 11ms.
Включение
client.chat.completions.create(
model="claude-sonnet-4-5",
messages=messages,
extra_body={
"amplink": {
"cache": {"mode": "semantic", "threshold": 0.97, "ttl": 86400}
}
},
)
Установите порог консервативно, наблюдайте за заголовком «обслужено из кэша» в течение недели, а затем ослабляйте его по маршруту. Команды, которые настраиваются по каждому маршруту, а не глобально, получают более высокие баллы 8-12 по показателю попаданий при той же шкале качества.