ہر prompt کسی اور کے API کو بھیجنا ٹھیک ہے — جب تک نہیں۔ شاید ڈیٹا حساس ہے اور آپ چاہیں یہ کبھی آپ کا سرور نہ چھوڑے۔ شاید آپ rate limits سے، یا ایک ماڈل ورژن آپ کے پیروں تلے بدلنے سے، یا ایک per-token meter کے آپ کے تجربے کے دوران ٹک ٹک کرنے سے تھک گئے۔ کسی مقام پر "کیا ہو اگر میں بس اپنا چلاؤں؟" ایک سوچ کا تجربہ رہنا چھوڑ دیتا ہے۔
Ollama اسے حقیقتاً آسان بناتا ہے۔ مشکل تر سوال یہ ہے کہ ایک VPS پر کیا سماتا ہے — اور یہاں ایماندار جواب hype سے زیادہ اہم ہے۔
CPU پر آپ دراصل کیا چلا سکتے ہیں
کوئی GPU نہیں؟ تو آپ CPU inference کر رہے ہیں، اور ماڈل size سب کچھ ہے۔ Quantization (weights کو 4-bit تک نچوڑنا) وہ ہے جو اسے عملی بناتا ہے — آپ معیار کا ایک ٹکڑا کھوتے اور memory کا ایک ڈھیر بچاتے ہیں۔
کچے نمبر، وہ جو اہم ہیں:
- 3B ماڈل، 4-bit — ~3 GB RAM۔ chat اور سادہ tasks کے لیے کافی چست۔
- 7B ماڈل، 4-bit — ~5 GB RAM۔ sweet spot: نمایاں طور پر ہوشیار تر، پھر بھی ایک پڑھنے کے قابل رفتار پر چلتا ہے۔
- 13B اور اوپر — 8-10 GB+ اور CPU پر سست۔ تکنیکی طور پر ممکن، عملی طور پر پریشان کن۔
رفتار، ایمانداری سے: چند vCPUs پر آپ فی سیکنڈ مٹھی بھر tokens دیکھیں گے۔ ایک chatbot یا ایک coding assistant کے لیے بالکل ٹھیک جہاں آپ اس کے ٹائپ کرتے پڑھتے ہیں۔ ایک ملین دستاویزات batch-process کرنے کے لیے ٹھیک نہیں — یہ ایک GPU کام ہے، اور ہم ورنہ ظاہر نہیں کرتے۔ ہم GPU instances پیش نہیں کرتے۔ اگر آپ کے پلان کو ایک 70B ماڈل یا بھاری throughput چاہیے، تو ایک CPU VPS — ہمارا یا کسی کا — غلط اوزار ہے، اور آپ کو ایک پیسہ خرچ کرنے سے پہلے یہ جاننا چاہیے۔
لیکن ایک نجی 7B جو آپ کے سوالات کا جواب دیتا اور کبھی گھر phone نہیں کرتا؟ وہ ایک 6 GB باکس پر آرام سے چلتا ہے۔
install — تین کمانڈز
سرور چالو کریں، SSH کریں، اور:
curl -fsSL https://ollama.com/install.sh | sh # Ollama انسٹال کرتا ہے
ollama run llama3.2:3b # ایک 3B ماڈل کھینچتا + چلاتا ہے
بس — آپ terminal میں chat کر رہے ہیں۔ اسے اپنے code سے استعمال کرنے کو، Ollama پہلے ہی port 11434 پر ایک HTTP API سرو کرتا ہے:
curl http://localhost:11434/api/generate -d '{
"model": "llama3.2:3b",
"prompt": "Summarize this changelog in two lines: ...",
"stream": false
}'
پہلے سے جاننے کے قابل ایک پیچ: ڈیفالٹ وہ API localhost سے bind ہوتا ہے۔ اسے ایسا رکھیں اور SSH پر tunnel کریں، ورنہ یہ انٹرنیٹ پر exposed ہے۔ اگر آپ اسے پہنچنے کے قابل چاہیں، تو اسے auth کے پیچھے رکھیں — ایک public IP پر ایک کھلا model endpoint نہ چھوڑیں۔
باکس چننا
پلان کو ماڈل سے میل کرائیں، الٹا نہیں:
| آپ کیا چلانا چاہتے ہیں | آپ کو کتنی RAM چاہیے | سمجھدار پلان |
|---|---|---|
| 3B ماڈل، ہلکا استعمال | ~3 GB | Small (4 GB) |
| 7B ماڈل، آرام سے | ~5-6 GB | Medium (6 GB) |
| بڑا / زیادہ throughput | GPU علاقہ | ایک CPU VPS نہیں |
زیادہ تر self-hosters کے لیے، Medium (6 GB) ایماندار تجویز ہے — ایک 7B ماڈل plus آپ کی ایپ اور OS کے لیے کافی headroom۔ Small (4 GB) چلتا ہے اگر آپ 3B تک رہیں۔ اس سے نیچے کچھ بھی OS اور context کھانے کے بعد بہت تنگ ہے۔
اسے یہاں کیوں کریں
اگر آپ ایک LLM self-host کر رہے ہیں، تو نجی پن عموماً آدھی وجہ ہے — تو باکس کرائے پر لینے کو اپنا ID دینا عجیب ہوگا۔ آپ کو نہیں کرنا: آپ USDC یا USDT میں ادا کر سکتے ہیں (یا on-ramp کے ذریعے ایک کارڈ)، کوئی KYC نہیں، اور سرور تقریباً ایک منٹ میں آپ کا ہے۔ کرپٹو-native، agent-دوست، اور ڈیٹا ایک ایسی مشین پر رہتا ہے جو آپ کنٹرول کریں۔
سمجھوتہ وہی ہے جس پر ہم ایماندار رہے ہیں: صرف CPU، ایک 6 GB چھت، چھوٹے ماڈل۔ اُس کے اندر، self-hosting زبردست ہے۔ اس سے باہر، کسی کو آپ کو ایک ایسے کام کے لیے ایک CPU باکس نہ بیچنے دیں جسے ایک GPU چاہیے۔
آزمانے کو تیار؟ ایک پلان چنیں، ادا کریں، اور آپ کے پاس تقریباً 60 سیکنڈ میں root ہوگا — پھر یہ آپ کے اپنے نجی ماڈل تک تین کمانڈز ہیں۔
تبصرے
ابھی کوئی تبصرہ نہیں۔ پہلے بنیں۔