Pratinjau konten prototipe. Gambar, detail penulis, klaim produk, dan contoh API menunggu verifikasi; contoh instruksi integrasi tidak dikonfirmasi.
Cara kami menangani permintaan token 1M tanpa lonjakan latensi — strategi sharding, dekode paralel, dan pipeline kompresi konteks.
Permintaan token 1M bukanlah permintaan kecil yang besar. Penanganan yang naif menghasilkan lonjakan latensi yang merusak setiap waktu tunggu downstream yang Anda miliki. Tiga teknik menjaga p99 tetap datar seiring berkembangnya konteks.
Membagikan isi awal
Pengisian awal adalah biaya yang dominan dalam konteks panjang dan hal ini dapat diparalelkan dengan baik. Kami membagi perintah pada batas semantik, mengisi terlebih dahulu pecahan secara bersamaan di seluruh perangkat, dan menggabungkan cache KV sebelum dekode dimulai. Di atas token 200k, ini memotong waktu untuk token pertama sekitar 60%.
Dekode paralel
Dekode pada dasarnya berurutan, tetapi dekode spekulatif dengan model draf kecil memulihkan sebagian besar kerugian. Draf tersebut mengusulkan beberapa token, target memverifikasi dalam satu proses, dan tingkat penerimaan pada output terstruktur berjalan di atas 70%.
Kompresi konteks
- Hapus duplikat boilerplate berulang di seluruh dokumen sebelum permintaan meninggalkan gateway
- Jatuhkan potongan pengambilan di bawah dasar relevansi daripada mengisi ke k tetap
- Ringkasnya menjadi lebih tua dari dua puluh terakhir dalam percakapan panjang
Sebagian besar permintaan token 1M tidak harus berupa token 1M. Median limbah yang dapat dikompresi dalam lalu lintas pelanggan adalah 23%, dan membuangnya lebih cepat dan lebih murah dibandingkan menyajikannya dengan baik.
Anggaran token
Tetapkan batas maksimum per permintaan dan anggaran per jam per penyewa. Tanpa keduanya, satu loop agen yang tidak terkendali dapat menghabiskan kapasitas satu hari dalam dua puluh menit — kelas insiden paling umum yang kita lihat dalam beban kerja konteks panjang.