مهندسی

زمینه طولانی در مقیاس: تقسیم بندی، استنتاج موازی، و بودجه های رمزی

پیش نمایش محتوای اولیه ارقام، جزئیات نویسنده، ادعاهای محصول و نمونه‌های API در انتظار تأیید هستند. نمونه ها دستورالعمل های یکپارچه سازی تایید نشده اند.

نحوه رسیدگی به درخواست‌های توکن 1M بدون افزایش زمان تأخیر - استراتژی اشتراک‌گذاری، رمزگشایی موازی و خط لوله فشرده‌سازی زمینه.

درخواست توکن 1M یک درخواست کوچک بزرگ نیست. مدیریت ساده لوح‌های تأخیر ایجاد می‌کند که هر مهلت زمانی پایین‌دستی را که دارید می‌شکند. سه تکنیک p99 را با رشد زمینه صاف نگه می دارند.

تقسیم پیش پر

پیش پر کردن هزینه غالب در زمینه طولانی است و به خوبی موازی می شود. ما درخواست را در مرزهای معنایی تقسیم می‌کنیم، خرده‌ها را به طور همزمان در دستگاه‌ها پر می‌کنیم، و حافظه پنهان KV را قبل از شروع رمزگشایی بخیه می‌کنیم. بالاتر از توکن های 200k، این توکن زمان به اولین توکن را تقریباً با 60% کاهش می دهد.

رمزگشایی موازی

رمزگشایی ذاتاً متوالی است، اما رمزگشایی گمانه‌زنی با یک مدل پیش‌نویس کوچک، بخش عمده‌ای از ضرر را جبران می‌کند. پیش‌نویس چندین توکن پیشنهاد می‌کند، هدف در یک پاس تأیید می‌شود، و نرخ پذیرش در خروجی ساختاریافته بالاتر از 70% اجرا می‌شود.

فشرده سازی زمینه

  • قبل از اینکه درخواست از دروازه خارج شود، دیگ بخار مکرر را از اسناد خارج کنید
  • تکه‌های بازیابی را به‌جای اینکه روی یک k ثابت قرار دهید، زیر یک طبقه مرتبط بیندازید
  • خلاصه کردن در مکالمات طولانی از بیست سالگی گذشته بزرگتر می شود

اکثر درخواست های توکن 1M نیازی به توکن های 1M ندارند. میانگین ضایعات قابل تراکم در ترافیک مشتری 23% است و حذف آن سریعتر و ارزانتر از سرویس دهی مناسب است.

بودجه های رمزی

یک سقف سخت برای هر درخواست و یک بودجه ساعتی برای هر مستاجر تعیین کنید. بدون هر دو، یک حلقه عامل فراری می‌تواند یک روز ظرفیت را در بیست دقیقه مصرف کند - رایج‌ترین کلاس حادثه‌ای که در بارهای کاری طولانی‌مدت می‌بینیم.

This article is an original publication of Starsg Group Inc. All rights reserved. No part of this article may be reproduced, copied, distributed, republished, or otherwise used in any form or by any means without the prior written permission of Starsg Group Inc., except as permitted by applicable law. Copyright © Starsg Group Inc. All Rights Reserved.

اطلاعات بیشتر در مهندسی

DeepSeek V4.1 Flash در StarsG: راهنمای عملی برای تعریف مجدد مدل استنتاج هوش مصنوعی مقرون به صرفه

۷ آبان ۱۴۰۵ · 13 دقیقه خواندن

چگونه Gemini 4 آرگون API-Ready را بدست آوریم

۲۳ مهر ۱۴۰۵ · 19 دقیقه خواندن

Jev توضیح داد: چگونه تصمیمات هوش مصنوعی قابل اعتماد و تایپ شده برای تولید بسازیم

۱۸ مهر ۱۴۰۵ · 20 دقیقه خواندن