Prototip içerik önizlemesi. Şekiller, yazar ayrıntıları, ürün iddiaları ve API örnekleri doğrulamayı beklemektedir; örnekler onaylanmış entegrasyon talimatları değildir.
1M belirteci isteklerini gecikme artışları olmadan nasıl ele alıyoruz - parçalama stratejisi, paralel kod çözme ve bağlam sıkıştırma ardışık düzeni.
1M token isteği büyük küçük bir istek değildir. Saf kullanım, sahip olduğunuz her aşağı akış zaman aşımını bozan gecikme artışlarına neden olur. Üç teknik, bağlam büyüdükçe p99'yi düz tutar.
Ön doldurmayı parçalama
Önceden doldurma, uzun bağlamda baskın maliyettir ve iyi bir şekilde paralellik gösterir. İstemi anlamsal sınırlara bölüyoruz, parçaları cihazlar arasında eşzamanlı olarak önceden dolduruyoruz ve kod çözme başlamadan önce KV önbelleğini birleştiriyoruz. 200k tokenlerinin üzerinde bu, ilk tokene ulaşma süresini kabaca 60% kadar azaltır.
Paralel kod çözme
Kod çözme doğası gereği sıralıdır, ancak küçük bir taslak modelle spekülatif kod çözme, kaybın çoğunu kurtarır. Taslak birkaç token öneriyor, hedef tek geçişte doğrulanıyor ve yapılandırılmış çıktıdaki kabul oranları 70%'nin üzerinde çalışıyor.
Bağlam sıkıştırma
- İstek ağ geçidinden ayrılmadan önce belgelerde yinelenen ortak metinleri tekilleştirin
- Sabit bir k'ye doldurmak yerine, alma parçalarını ilgi tabanının altına bırakın
- Uzun konuşmalarda son yirmiden daha eskiye dönüşleri özetleme
Çoğu 1M belirteci isteğinin 1M belirteçleri olması gerekmez. Müşteri trafiğindeki ortalama sıkıştırılabilir atık 23%'dir ve onu ortadan kaldırmak, iyi hizmet vermekten hem daha hızlı hem de daha ucuzdur.
Token bütçeleri
Talep başına sabit bir tavan ve kiracı başına saatlik bir bütçe belirleyin. Her ikisi de olmadan, kaçak bir aracı döngüsü bir günlük kapasiteyi yirmi dakika içinde tüketebilir; bu, uzun bağlamlı iş yüklerinde gördüğümüz en yaygın olay sınıfıdır.