การแสดงตัวอย่างเนื้อหาต้นแบบ ตัวเลข รายละเอียดผู้แต่ง การกล่าวอ้างผลิตภัณฑ์ และตัวอย่าง API อยู่ระหว่างการตรวจสอบยืนยัน ตัวอย่างไม่ได้รับการยืนยันคำแนะนำในการบูรณาการ
วิธีที่เราจัดการคำขอโทเค็น 1M โดยไม่มีเวลาแฝงที่เพิ่มขึ้นอย่างรวดเร็ว — กลยุทธ์การแบ่งส่วน การถอดรหัสแบบขนาน และไปป์ไลน์การบีบอัดบริบท
คำขอโทเค็น 1M ไม่ใช่คำขอเล็กๆ น้อยๆ การจัดการแบบไร้เดียงสาทำให้เกิดเวลาแฝงที่เพิ่มขึ้นอย่างรวดเร็ว ซึ่งทำลายทุกการหมดเวลาดาวน์สตรีมที่คุณมี เทคนิคสามประการทำให้ p99 คงที่เมื่อบริบทเติบโตขึ้น
แบ่งส่วนที่เตรียมไว้ล่วงหน้า
การเติมล่วงหน้าเป็นต้นทุนหลักในบริบทที่ยาวและขนานกันอย่างดี เราแบ่งพรอมต์ตามขอบเขตความหมาย กรอกข้อมูลส่วนย่อยล่วงหน้าพร้อมกันระหว่างอุปกรณ์ และต่อแคช KV ก่อนเริ่มการถอดรหัส โทเค็นด้านบน 200k จะลดเวลาจากโทเค็นแรกลงประมาณ 60%
ถอดรหัสแบบขนาน
การถอดรหัสเป็นไปตามลำดับตามธรรมชาติ แต่การถอดรหัสแบบเก็งกำไรด้วยแบบจำลองร่างขนาดเล็กจะกู้คืนการสูญเสียได้มาก แบบร่างเสนอโทเค็นหลายรายการ เป้าหมายจะตรวจสอบในการผ่านครั้งเดียว และอัตราการยอมรับสำหรับเอาต์พุตที่มีโครงสร้างทำงานสูงกว่า 70%
การบีบอัดบริบท
- ขจัดข้อมูลซ้ำซ้อนที่ซ้ำกันในเอกสารต่างๆ ก่อนที่คำขอจะออกจากเกตเวย์
- วางชิ้นส่วนการดึงข้อมูลไว้ใต้พื้นที่เกี่ยวข้อง แทนที่จะเพิ่มไปยังค่า k คงที่
- สรุปผู้ที่มีอายุมากกว่ายี่สิบคนล่าสุดในการสนทนาที่ยาวนาน
คำร้องขอโทเค็น 1M ส่วนใหญ่ไม่จำเป็นต้องเป็นโทเค็น 1M ค่ามัธยฐานของเสียที่สามารถบีบอัดได้ในการรับส่งข้อมูลของลูกค้าคือ 23% และการกำจัดขยะนั้นทำได้เร็วกว่าและราคาถูกกว่าการให้บริการที่ดี
งบประมาณโทเค็น
กำหนดเพดานสูงสุดตามคำขอและงบประมาณรายชั่วโมงต่อผู้เช่า หากไม่มีทั้งสองอย่าง ลูปเอเจนต์ที่ควบคุมไม่ได้หนึ่งลูปสามารถใช้ความจุหนึ่งวันได้ภายในยี่สิบนาที ซึ่งเป็นคลาสเหตุการณ์ที่พบบ่อยที่สุดที่เราเห็นในเวิร์กโหลดที่มีบริบทยาว