วิศวกรรม

บริบทแบบยาวตามขนาด: การแบ่งส่วน การอนุมานแบบขนาน และงบประมาณโทเค็น

การแสดงตัวอย่างเนื้อหาต้นแบบ ตัวเลข รายละเอียดผู้แต่ง การกล่าวอ้างผลิตภัณฑ์ และตัวอย่าง API อยู่ระหว่างการตรวจสอบยืนยัน ตัวอย่างไม่ได้รับการยืนยันคำแนะนำในการบูรณาการ

วิธีที่เราจัดการคำขอโทเค็น 1M โดยไม่มีเวลาแฝงที่เพิ่มขึ้นอย่างรวดเร็ว — กลยุทธ์การแบ่งส่วน การถอดรหัสแบบขนาน และไปป์ไลน์การบีบอัดบริบท

คำขอโทเค็น 1M ไม่ใช่คำขอเล็กๆ น้อยๆ การจัดการแบบไร้เดียงสาทำให้เกิดเวลาแฝงที่เพิ่มขึ้นอย่างรวดเร็ว ซึ่งทำลายทุกการหมดเวลาดาวน์สตรีมที่คุณมี เทคนิคสามประการทำให้ p99 คงที่เมื่อบริบทเติบโตขึ้น

แบ่งส่วนที่เตรียมไว้ล่วงหน้า

การเติมล่วงหน้าเป็นต้นทุนหลักในบริบทที่ยาวและขนานกันอย่างดี เราแบ่งพรอมต์ตามขอบเขตความหมาย กรอกข้อมูลส่วนย่อยล่วงหน้าพร้อมกันระหว่างอุปกรณ์ และต่อแคช KV ก่อนเริ่มการถอดรหัส โทเค็นด้านบน 200k จะลดเวลาจากโทเค็นแรกลงประมาณ 60%

ถอดรหัสแบบขนาน

การถอดรหัสเป็นไปตามลำดับตามธรรมชาติ แต่การถอดรหัสแบบเก็งกำไรด้วยแบบจำลองร่างขนาดเล็กจะกู้คืนการสูญเสียได้มาก แบบร่างเสนอโทเค็นหลายรายการ เป้าหมายจะตรวจสอบในการผ่านครั้งเดียว และอัตราการยอมรับสำหรับเอาต์พุตที่มีโครงสร้างทำงานสูงกว่า 70%

การบีบอัดบริบท

  • ขจัดข้อมูลซ้ำซ้อนที่ซ้ำกันในเอกสารต่างๆ ก่อนที่คำขอจะออกจากเกตเวย์
  • วางชิ้นส่วนการดึงข้อมูลไว้ใต้พื้นที่เกี่ยวข้อง แทนที่จะเพิ่มไปยังค่า k คงที่
  • สรุปผู้ที่มีอายุมากกว่ายี่สิบคนล่าสุดในการสนทนาที่ยาวนาน

คำร้องขอโทเค็น 1M ส่วนใหญ่ไม่จำเป็นต้องเป็นโทเค็น 1M ค่ามัธยฐานของเสียที่สามารถบีบอัดได้ในการรับส่งข้อมูลของลูกค้าคือ 23% และการกำจัดขยะนั้นทำได้เร็วกว่าและราคาถูกกว่าการให้บริการที่ดี

งบประมาณโทเค็น

กำหนดเพดานสูงสุดตามคำขอและงบประมาณรายชั่วโมงต่อผู้เช่า หากไม่มีทั้งสองอย่าง ลูปเอเจนต์ที่ควบคุมไม่ได้หนึ่งลูปสามารถใช้ความจุหนึ่งวันได้ภายในยี่สิบนาที ซึ่งเป็นคลาสเหตุการณ์ที่พบบ่อยที่สุดที่เราเห็นในเวิร์กโหลดที่มีบริบทยาว

This article is an original publication of Starsg Group Inc. All rights reserved. No part of this article may be reproduced, copied, distributed, republished, or otherwise used in any form or by any means without the prior written permission of Starsg Group Inc., except as permitted by applicable law. Copyright © Starsg Group Inc. All Rights Reserved.

เพิ่มเติมใน วิศวกรรม

DeepSeek V4.1 Flash บน StarsG: คู่มือปฏิบัติสำหรับโมเดล นิยามใหม่ของการอนุมาน AI ที่คุ้มต้นทุน

29 ต.ค. 2569 · 13 อ่านขั้นต่ำ

วิธีรับ Gemini 4 Argon API พร้อม

15 ต.ค. 2569 · 19 อ่านขั้นต่ำ

Jev อธิบาย: วิธีสร้างการตัดสินใจ AI ที่พิมพ์ได้และเชื่อถือได้สำหรับการผลิต

10 ต.ค. 2569 · 20 อ่านขั้นต่ำ