การเพิ่มประสิทธิภาพต้นทุน

Semantic Caching ลดต้นทุน AI API โดย 41% ได้อย่างไร

การแสดงตัวอย่างเนื้อหาต้นแบบ ตัวเลข รายละเอียดผู้แต่ง การกล่าวอ้างผลิตภัณฑ์ และตัวอย่าง API อยู่ระหว่างการตรวจสอบยืนยัน ตัวอย่างไม่ได้รับการยืนยันคำแนะนำในการบูรณาการ

ข้อมูลของเราจากการโทรรายวันของ 140M แสดงให้เห็นว่าการแคชความหมายช่วยลดคำขอที่ซ้ำซ้อน ต่อไปนี้คือวิธีที่อัตราการเข้าชมจะปรับขนาดตามการเข้าชม

ในการเรียกใช้ 140M ทุกวันบนเกตเวย์ Starsg การแจ้ง 31% นั้นเกือบจะซ้ำกันกับคำขอที่เราให้บริการในชั่วโมง 24 ก่อนหน้า แคชที่ตรงทั้งหมดจับได้เกือบหนึ่งในสามของแคชเหล่านั้น การแคชความหมายจะจับส่วนที่เหลือ — และเป็นการลดบรรทัดรายการที่ใหญ่ที่สุดเพียงรายการเดียวที่ทีมส่วนใหญ่สามารถทำได้โดยไม่ต้องเปลี่ยนโมเดล

สิ่งที่นับเป็นการเข้าชมแคช

เราฝังแต่ละพรอมต์ที่เข้ามา ค้นหาดัชนีเวกเตอร์ของผู้เช่า และถือว่าผลลัพธ์เป็นการเข้าชมเมื่อความคล้ายคลึงของโคไซน์ล้างเกณฑ์ต่อเส้นทาง ค่าเริ่มต้นคือ 0.97 สำหรับการค้นหาข้อเท็จจริง และ 0.99 สำหรับทุกสิ่งที่ผู้เรียกทำเครื่องหมายว่ากำเนิด ต่ำกว่าเกณฑ์ คำขอจะไปต้นน้ำ และการตอบสนองจะถูกเขียนกลับไปยังดัชนี

  • การรับส่งข้อมูลการสนับสนุนและคำถามที่พบบ่อย: อัตราการเข้าชมของ 52% — มีคำถามยี่สิบข้อที่เหมือนกัน
  • การปรับปรุงแคตตาล็อกผลิตภัณฑ์: อัตราการเข้าชม 38% ขับเคลื่อนโดยคำอธิบาย SKU ซ้ำ
  • ความช่วยเหลือเกี่ยวกับโค้ด: อัตราการเข้าชม 19%; พรอมต์มีบริบทของไฟล์ที่ไม่ซ้ำใคร
  • การสนทนาแบบปลายเปิด: อัตราการเข้าถึง 6% — การแคชไม่ใช่จุดสำคัญ

อัตราการเข้าชมจะปรับขนาดตามการเข้าชมอย่างไร

อัตราการเข้าชมเป็นฟังก์ชันของความหนาแน่นทันที ไม่ใช่ปริมาตรดิบ ปริมาณงานที่การโทร 10k/วัน และหนึ่งรายการที่การโทร 10M/วัน มาบรรจบกันที่อัตราเดียวกันเมื่อดัชนีเห็นพร้อมท์ที่แตกต่างกันโดยประมาณของ 50k ปริมาณการเปลี่ยนแปลงคือเวลาที่จะมาถึงจุดนั้น ผู้เช่ารายใหญ่อุ่นเครื่องในไม่กี่ชั่วโมง ผู้เช่ารายเล็กในไม่กี่สัปดาห์

เมื่อเปรียบเทียบกับผู้เช่าที่เปิดใช้งานแคชทั้งหมด การแคชเชิงความหมายจะลบโทเค็นอัปสตรีมที่เรียกเก็บเงินได้ของ 41% ในไตรมาสที่แล้ว ค่ามัธยฐานเพิ่มเวลาแฝงในการเข้าชม: 11ms

กำลังเปิดเครื่อง

client.chat.completions.create(
    model="claude-sonnet-4-5",
    messages=messages,
    extra_body={
        "amplink": {
            "cache": {"mode": "semantic", "threshold": 0.97, "ttl": 86400}
        }
    },
)

ตั้งค่าเกณฑ์อย่างระมัดระวัง ดูส่วนหัวเสิร์ฟจากแคชเป็นเวลาหนึ่งสัปดาห์ จากนั้นคลายเส้นทางทีละเส้นทาง ทีมที่ปรับแต่งตามเส้นทางแทนที่จะลงจอดทั่วโลก 8-12 จะให้คะแนนอัตราการเข้าชมที่สูงกว่าที่แถบคุณภาพเดียวกัน

This article is an original publication of Starsg Group Inc. All rights reserved. No part of this article may be reproduced, copied, distributed, republished, or otherwise used in any form or by any means without the prior written permission of Starsg Group Inc., except as permitted by applicable law. Copyright © Starsg Group Inc. All Rights Reserved.

เพิ่มเติมใน การเพิ่มประสิทธิภาพต้นทุน

Starsg กับ OpenRouter: ไหนดีกว่าสำหรับการผลิต?

10 ต.ค. 2569 · 15 อ่านขั้นต่ำ

OpenAI API: ราคา รุ่น และวิธีการเริ่มต้นใช้งาน

16 ก.ย. 2569 · 11 อ่านขั้นต่ำ

Starsg กับ Direct API: การเปรียบเทียบต้นทุนรวมในการเป็นเจ้าของ

24 ส.ค. 2569 · 12 อ่านขั้นต่ำ