การแสดงตัวอย่างเนื้อหาต้นแบบ ตัวเลข รายละเอียดผู้แต่ง การกล่าวอ้างผลิตภัณฑ์ และตัวอย่าง API อยู่ระหว่างการตรวจสอบยืนยัน ตัวอย่างไม่ได้รับการยืนยันคำแนะนำในการบูรณาการ
ข้อมูลของเราจากการโทรรายวันของ 140M แสดงให้เห็นว่าการแคชความหมายช่วยลดคำขอที่ซ้ำซ้อน ต่อไปนี้คือวิธีที่อัตราการเข้าชมจะปรับขนาดตามการเข้าชม
ในการเรียกใช้ 140M ทุกวันบนเกตเวย์ Starsg การแจ้ง 31% นั้นเกือบจะซ้ำกันกับคำขอที่เราให้บริการในชั่วโมง 24 ก่อนหน้า แคชที่ตรงทั้งหมดจับได้เกือบหนึ่งในสามของแคชเหล่านั้น การแคชความหมายจะจับส่วนที่เหลือ — และเป็นการลดบรรทัดรายการที่ใหญ่ที่สุดเพียงรายการเดียวที่ทีมส่วนใหญ่สามารถทำได้โดยไม่ต้องเปลี่ยนโมเดล
สิ่งที่นับเป็นการเข้าชมแคช
เราฝังแต่ละพรอมต์ที่เข้ามา ค้นหาดัชนีเวกเตอร์ของผู้เช่า และถือว่าผลลัพธ์เป็นการเข้าชมเมื่อความคล้ายคลึงของโคไซน์ล้างเกณฑ์ต่อเส้นทาง ค่าเริ่มต้นคือ 0.97 สำหรับการค้นหาข้อเท็จจริง และ 0.99 สำหรับทุกสิ่งที่ผู้เรียกทำเครื่องหมายว่ากำเนิด ต่ำกว่าเกณฑ์ คำขอจะไปต้นน้ำ และการตอบสนองจะถูกเขียนกลับไปยังดัชนี
- การรับส่งข้อมูลการสนับสนุนและคำถามที่พบบ่อย: อัตราการเข้าชมของ 52% — มีคำถามยี่สิบข้อที่เหมือนกัน
- การปรับปรุงแคตตาล็อกผลิตภัณฑ์: อัตราการเข้าชม 38% ขับเคลื่อนโดยคำอธิบาย SKU ซ้ำ
- ความช่วยเหลือเกี่ยวกับโค้ด: อัตราการเข้าชม 19%; พรอมต์มีบริบทของไฟล์ที่ไม่ซ้ำใคร
- การสนทนาแบบปลายเปิด: อัตราการเข้าถึง 6% — การแคชไม่ใช่จุดสำคัญ
อัตราการเข้าชมจะปรับขนาดตามการเข้าชมอย่างไร
อัตราการเข้าชมเป็นฟังก์ชันของความหนาแน่นทันที ไม่ใช่ปริมาตรดิบ ปริมาณงานที่การโทร 10k/วัน และหนึ่งรายการที่การโทร 10M/วัน มาบรรจบกันที่อัตราเดียวกันเมื่อดัชนีเห็นพร้อมท์ที่แตกต่างกันโดยประมาณของ 50k ปริมาณการเปลี่ยนแปลงคือเวลาที่จะมาถึงจุดนั้น ผู้เช่ารายใหญ่อุ่นเครื่องในไม่กี่ชั่วโมง ผู้เช่ารายเล็กในไม่กี่สัปดาห์
เมื่อเปรียบเทียบกับผู้เช่าที่เปิดใช้งานแคชทั้งหมด การแคชเชิงความหมายจะลบโทเค็นอัปสตรีมที่เรียกเก็บเงินได้ของ 41% ในไตรมาสที่แล้ว ค่ามัธยฐานเพิ่มเวลาแฝงในการเข้าชม: 11ms
กำลังเปิดเครื่อง
client.chat.completions.create(
model="claude-sonnet-4-5",
messages=messages,
extra_body={
"amplink": {
"cache": {"mode": "semantic", "threshold": 0.97, "ttl": 86400}
}
},
)
ตั้งค่าเกณฑ์อย่างระมัดระวัง ดูส่วนหัวเสิร์ฟจากแคชเป็นเวลาหนึ่งสัปดาห์ จากนั้นคลายเส้นทางทีละเส้นทาง ทีมที่ปรับแต่งตามเส้นทางแทนที่จะลงจอดทั่วโลก 8-12 จะให้คะแนนอัตราการเข้าชมที่สูงกว่าที่แถบคุณภาพเดียวกัน