بهینه سازی هزینه

چگونه ذخیره معنایی هزینه های AI API توسط 41% را کاهش می دهد

پیش نمایش محتوای اولیه ارقام، جزئیات نویسنده، ادعاهای محصول و نمونه‌های API در انتظار تأیید هستند. نمونه ها دستورالعمل های یکپارچه سازی تایید نشده اند.

داده های ما از تماس های روزانه 140M نشان می دهد که کش معنایی درخواست های اضافی را حذف می کند. در اینجا نحوه مقیاس نرخ ضربه با ترافیک آمده است.

در سراسر تماس‌های روزانه 140M در دروازه Starsg، درخواست‌های 31% تقریباً تکراری از درخواستی است که در ساعات قبلی 24 ارائه کردیم. ذخیره‌سازی با تطابق دقیق به سختی یک سوم آن‌ها را می‌گیرد. ذخیره معنایی بقیه موارد را جلب می کند - و این بزرگترین کاهش آیتم خطی است که اکثر تیم ها می توانند بدون تغییر مدل انجام دهند.

چیزی که به عنوان یک ضربه کش به حساب می آید

ما هر اعلان ورودی را جاسازی می‌کنیم، شاخص بردار خود مستاجر را جستجو می‌کنیم و زمانی که شباهت کسینوس آستانه هر مسیر را پاک می‌کند، نتیجه را به عنوان یک ضربه در نظر می‌گیریم. پیش‌فرض برای جستجوهای واقعی 0.97 و برای هر چیزی که تماس‌گیرنده به‌عنوان مولد علامت‌گذاری می‌کند، 0.99 است. در زیر آستانه، درخواست به سمت بالا می رود و پاسخ به ایندکس باز می گردد.

  • ترافیک پشتیبانی و سوالات متداول: نرخ بازدید 52% - همان بیست سوال غالب است
  • غنی‌سازی کاتالوگ محصول: نرخ بازدید 38%، بر اساس توضیحات مکرر SKU
  • کمک کد: نرخ ضربه 19%. درخواست ها زمینه فایل منحصر به فرد را دارند
  • چت پایان باز: نرخ بازدید 6% - کش در اینجا اهرمی نیست

چگونه نرخ ضربه با ترافیک مقیاس می شود

نرخ ضربه تابعی از چگالی سریع است، نه حجم خام. یک بار کاری در تماس‌های 10k/روز و یک بار در تماس‌های 10M در روز به همان نرخ همگرا می‌شوند که شاخص تقریباً درخواست‌های متمایز 50k را ببیند. آنچه حجم تغییر می کند زمان رسیدن به آن نقطه است: مستاجران بزرگ در چند ساعت گرم می شوند، مستاجران کوچک در هفته ها.

به‌طور میانگین در میان تمام مستاجران دارای حافظه پنهان، ذخیره‌سازی معنایی 41% توکن‌های بالادستی قابل پرداخت را در سه ماهه گذشته حذف کرد. میانه تاخیر اضافه شده در یک موفقیت: 11ms.

روشن کردن آن

client.chat.completions.create(
    model="claude-sonnet-4-5",
    messages=messages,
    extra_body={
        "amplink": {
            "cache": {"mode": "semantic", "threshold": 0.97, "ttl": 86400}
        }
    },
)

آستانه را به صورت محافظه کارانه تنظیم کنید، هدر ارائه شده از حافظه پنهان را به مدت یک هفته تماشا کنید، سپس مسیر به مسیر آن را شل کنید. تیم‌هایی که در هر مسیر کوک می‌کنند، نه در سطح جهانی، 8-12 امتیاز بالاتری در نرخ ضربه در نوار کیفیت یکسان دارند.

This article is an original publication of Starsg Group Inc. All rights reserved. No part of this article may be reproduced, copied, distributed, republished, or otherwise used in any form or by any means without the prior written permission of Starsg Group Inc., except as permitted by applicable law. Copyright © Starsg Group Inc. All Rights Reserved.

اطلاعات بیشتر در بهینه سازی هزینه

Starsg در مقابل OpenRouter: کدام یک برای تولید بهتر است؟

۱۸ مهر ۱۴۰۵ · 15 دقیقه خواندن

OpenAI API: قیمت‌گذاری، مدل‌ها و نحوه شروع

۲۵ شهریور ۱۴۰۵ · 11 دقیقه خواندن

Starsg در مقابل مستقیم API: مقایسه کل هزینه مالکیت

۲ شهریور ۱۴۰۵ · 12 دقیقه خواندن