ما یک صفحه جداگانه برای Ollama و مدلهای کوچک داریم — آن سرور CPU دوازده دلاری است که ۱ تا ۸ میلیارد و embedding را اجرا میکند. این صفحه انتهای دیگر است: مدلهایی بهقدری بزرگ که RAM، نه CPU، چیزی است که جلوی شما را میگیرد.
از همان اول صادق باشیم، مثل همهجا: سرورهای ما فقط CPU هستند، بدون GPU. یک مدل بزرگ اینجا کند اجرا میشود. اگر چت تعاملی سریع روی یک مدل ۳۰ میلیاردی میخواهید، به یک میزبان GPU نیاز دارید — محصول متفاوت، ارائهدهنده متفاوت. کاری که یک سرور CPU با حافظه بالا خوب انجام میدهد این است که یک مدل کوانتیزه بزرگ را بهصورت خصوصی برای کاری که پنجره چت نیست اجرا کند.
حساب RAM
مدل، کوانتیزه یا نه، در حافظه مینشیند، بهعلاوه سربار برای context و runtime:
- ۱۳ میلیاردی، ۴ بیت — تقریباً ۱۰ تا ۱۶ گیگابایت. همین حالا روی یک پلن میانی اجرا میشود.
- رده ۳۰ میلیاردی، کوانتیزه — ۲۴ تا ۴۸ گیگابایت بسته به کوانتیزاسیون. این قلمرو Pro-32 تا Pro-64 است.
- بزرگتر یا با دقت بالاتر — ۶۴ تا ۸۰ گیگابایت، و فراتر از ۸۰ گیگابایت هیچ سرور واحدی از ما جا نمیشود. Pro-80 سقف اینجاست.
به همین دلیل «یک مدل محلی بزرگتر اجرا کن» واقعاً یک پرسش حافظهبالاست. مدل همان ردپای حافظه است. یک شاخص RAG روی همان میزبان اضافه کنید و اعداد روی هم انباشته میشوند.
جایی که خصوصیبودن-اول واقعاً برنده است
مسئله سرعت نیست و هزینه هم نیست — این است که بعضی دادهها نمیتوانند خارج شوند. اسناد حقوقی. سوابق پزشکی. کد اختصاصی. هر چیزی که فرستادن پرامپت به یک API شخص ثالث دربارهاش منتفی است. یک مدل کندتر که کاملاً روی ماشین شما اجرا میشود، بهتر از یک مدل سریع است که هر چیزی را که میفرستید لاگ میکند. ما تصویر کامل را اینجا نوشتیم.
و اگر داده آنقدر حساس است، احتمالاً پرداخت هم باید خصوصی باشد. اجاره سرور با رمزارز و بدون KYC کل زنجیره — سرور، مدل، پرامپتها، صورتحساب — را از سوابق هویتی هرکسی دور نگه میدارد. این حرف اصلی است: نه استنتاج ارزانتر، بلکه استنتاجی که هیچکس دیگری نمیتواند ببیند.
چه چیزی انتخاب کنیم
برای یک مدل رده ۳۰ میلیاردی با فضای کافی برای context، Pro-64 (۶۴ گیگابایت) انتخاب راحت است؛ یک کوانتیزاسیون فشردهتر در Pro-32 یا Pro-48 جا میشود، یک مدل بزرگتر به Pro-80 میرود. اول مدل را بارگذاری کنید، حافظه مقیم را تماشا کنید، و از روی آنچه اندازه گرفتید ابعاد را تعیین کنید. و انتظارات را تنظیم کنید: این استنتاج دستهای خصوصی است، نه یک پنجره چت سریع.
نظرات
هنوز نظری نیست. اولین نفر باشید.