بگذارید از همان اول صادق باشیم: اگر تولید سریع، ارزان و باکیفیت میخواهید، یک API را صدا بزنید. یک VPS مبتنی بر CPU از یک دیتاسنتر پر از GPU جلو نمیزند، و هرکس خلافش را بگوید دارد چیزی میفروشد.
پس اصلاً چرا استنتاج را خودمیزبان کنیم؟ یک دلیل، و دلیل خوبی است: مدلی که روی سرور شماست هرگز پرامپتهایتان را به جایی نمیفرستد.
استنتاج روی CPU واقعاً چه شکلی است
میتوانید مدلهای واقعی را با RAM کافی روی CPU اجرا کنید. یک مدل 7 تا 8 میلیاردی که به ۴-بیت کوانتیزه شده کار میکند. یک مدل 13 میلیاردی کار میکند. حتی میتوانید یک مدل ردهی 30 میلیاردی را هم پیش ببرید اگر حافظهاش را داشته باشید. کاری که نمیتوانید بکنید سریع کردنش است — خروجی با چند توکن در ثانیه میآید، نه آن جریان آنیِ یک API.
این معاملهی صادقانه است. برای چت تعاملی خستهکننده است. برای کار پسزمینه — خلاصه کردن اسناد در طول شب، دستهبندی یک صف، غنیسازی داده روی یک زمانبندی — چند توکن در ثانیه کاملاً خوب است، و هیچکس چشمش به ساعت نیست.
ریاضیِ RAM
مدل باید در حافظه بنشیند، کوانتیزهشده یا نه، بهعلاوهی سربار برای زمینه و زماناجرا:
- 7 تا 8 میلیاردی، ۴-بیت — حدود ۶ تا ۸ گیگابایت. روی یک پلن میانه اجرا میشود.
- 13 میلیاردی، ۴-بیت — تقریباً ۱۰ تا ۱۶ گیگابایت.
- ردهی 30 میلیاردی، کوانتیزهشده — ۲۴ تا ۴۸ گیگابایت، بسته به کوانتیزاسیون.
- بزرگتر، یا با دقت بالاتر — سریع به ۶۴ تا ۸۰ گیگابایت میرسید — و بعد از ۸۰ گیگابایت هیچ جعبهی پروی منفردی جا نمیشود، و هنوز بهکندیِ CPU است.
به همین دلیل است که «یک مدل محلی اجرا کن» بیسروصدا به یک پرسش پرحافظه بدل میشود. مدل همان ردپای حافظه است. یک ایندکس RAG یا عاملها را روی همان جعبه اضافه کنید و اعداد روی هم مینشینند.
Ollama در برابر vLLM، کوتاه
Ollama درِ ورودیِ آسان است — نصب، ollama run، تمام. ابزار درست برای یک راهاندازی خصوصیِ تککاربره است که فقط میخواهید مدل در دسترس باشد. vLLM برای توانعملیاتیِ سرویسدهی ساخته شده: راهاندازی بیشتر، زیر بار همزمان بهتر، ارزش دارد وقتی که واقعاً حجم را مدیریت میکنید. با Ollama شروع کنید؛ سراغ vLLM بروید وقتی که ترافیک واقعی سرویس میدهید.
خصوصی-اول واقعاً کجا برنده است
استدلال بهنفع استنتاج خودمیزبان سرعت یا هزینه نیست — این است که بعضی دادهها نمیتوانند بیرون بروند. اسناد حقوقی. پروندههای پزشکی. کد اختصاصی. هرچه که فرستادن پرامپتش به یک API شخصثالث به دلایل سیاستگذاری یا اعتماد از دستور خارج است. یک مدل کندتر که کاملاً روی ماشین شما اجرا میشود بر یک مدل سریع که همهچیزِ فرستادهشده به آن را لاگ میکند برتری دارد.
و اگر داده آنقدر حساس است، پرداخت هم احتمالاً باید خصوصی باشد. اجارهی جعبه با رمزارز و بدون KYC کل زنجیره — سرور، مدل، پرامپتها، صورتحساب — را از سوابق هویتیِ هرکسی دور نگه میدارد. این همان پیشنهاد واقعی است: نه «استنتاج ارزانتر»، بلکه «استنتاجی که هیچکس دیگر نمیتواند ببیند.»
خط پایانی
برای سرعت و کیفیت، یک API بهکار ببرید — ننگی در آن نیست. وقتی حریم خصوصی الزام است و کندتر قابلقبول است خودمیزبان کنید. برای مدل بهعلاوهی زمینهاش بهعلاوهی هرچه دیگری که جعبه را به اشتراک میگذارد اندازه بگیرید، و انتظار سرعت GPU از CPU نداشته باشید.
وقتی مدل به حافظهی واقعی نیاز دارد، خط پرو از ۳۲ تا ۸۰ گیگابایت با یک IP اختصاصی و پشتیبانهای شبانه اجرا میشود — بهاندازهی کافی برای نگهداشتن یک مدل کوانتیزهشدهی جدی با فضایی برای زمینه دورش.
نظرات
هنوز نظری نیست. اولین نفر باشید.