Ollama اور Local LLMs کے لیے VPS

مایوس کن حصہ نمٹا لیں، کیونکہ انٹرنیٹ ایسے صفحات سے بھرا ہے جو نہیں کرتے۔

ہمارے سرورز CPU-only ہیں۔ ہم GPUs نہیں دیتے۔ اس کا مطلب یہاں local LLM کام کی ایک سخت حد ہے، اور دوسرا بہانہ کرنا صرف آپ کا پیسہ ضائع کرے گا۔

CPU پر دراصل کیا کام کرتا ہے

اسٹینڈرڈ پلانز پر، 6 vCPU تک اور 6 GB RAM کے ساتھ (ہمارا Medium پلان — $12/ماہ)، آپ چھوٹے quantized models کی رینج میں ہیں:

• 1B–3B models (Q4): واقعی قابلِ استعمال۔ classification، tagging، routing، اور سادہ structured extraction کے لیے کافی تیز۔
• 7B–8B models (Q4): چلتے ہیں، لیکن فی سیکنڈ چند tokens کی توقع کریں۔ رات بھر دستاویزات چبانے والی ایک queue کے لیے ٹھیک۔ ایک chat window کے طور پر تکلیف دہ۔
• Embedding models: بہترین موزوں۔ وہ چھوٹے ہیں، CPU پر تیز، اور یہ شاید ہمارے جیسے باکس پر Ollama چلانے کی واحد بہترین وجہ ہے۔
• 13B اور اوپر: نہ کریں۔ آپ swap کریں گے اور انتظار کریں گے۔

اگر آپ کو ایک تیز، interactive 70B chat چاہیے، تو آپ کو ایک GPU ہوسٹ درکار ہے — یہ ایک مختلف پرووائیڈر کا ایک مختلف پروڈکٹ ہے، اور آپ کے $12 لینے کے بجائے ہم یہ کہنا بہتر سمجھتے ہیں۔

کہاں ایک CPU باکس واقعی جیتتا ہے

پرائیویسی۔ آپ کی دستاویزات، آپ کے prompts، آپ کے embeddings — کبھی آپ کے کنٹرول والی مشین نہ چھوڑتے، کبھی کسی کا training data نہ بنتے۔ بہت سے لوگوں کے لیے یہی پورا مقصد ہے، اور فی سیکنڈ چند tokens ایک قابلِ قبول سودا ہے۔

لاگت کی پیش گوئی۔ کوئی per-token بل نہیں۔ پچاس ہزار ریکارڈ classify کرتی ایک pipeline پچاس classify کرتی ایک کی وہی لاگت ہے: $12۔

Async کام۔ زیادہ تر مفید LLM کام ایک chat window نہیں۔ یہ ایک queue ہے: انہیں summarize کرو، اُنہیں tag کرو، یہ corpus embed کرو۔ رات بھر ایک backlog چباتا ایک CPU باکس اس میں بالکل اچھا ہے۔

سیٹ اپ

# Ubuntu 24.04 — Medium پلان تجویز کردہ
curl -fsSL https://ollama.com/install.sh | sh

# کچھ چھوٹے سے شروع کریں اور خود دیکھیں
ollama pull llama3.2:3b
ollama run llama3.2:3b "Summarize this in one sentence: ..."

# Embeddings — CPU کا sweet spot
ollama pull nomic-embed-text
curl http://localhost:11434/api/embeddings \
  -d '{"model":"nomic-embed-text","prompt":"hello world"}'

Ollama localhost:11434 پر ایک HTTP API پیش کرتا ہے۔ اسے وہیں رکھیں۔ اگر آپ کو اسے کہیں اور سے پہنچنا ہو، تو اسے ایک dedicated-IP پلان پر authentication کے ساتھ ایک reverse proxy کے پیچھے رکھیں — کبھی ایک unauthenticated ماڈل-endpoint کو کھلے انٹرنیٹ پر نہ کھولیں۔

اسے ایک vector database کے ساتھ جوڑیں (Docker میں Qdrant یا pgvector) اور آپ کے پاس ایک $12 باکس پر ایک مکمل نجی RAG اسٹیک ہے۔ وہ امتزاج — چھوٹے local embeddings، local vector store، صرف بھاری generation قدم کے لیے بیرونی API — ایسے ہارڈویئر پر وہ سیٹ اپ ہے جو دراصل معنی رکھتا ہے۔

ایک پلان چننا

CPU-only: اسٹینڈرڈ پلانز 6 vCPU اور 6 GB RAM تک، Pro لائن 12 vCPU اور 80 GB تک۔ NVMe اسٹوریج، unmetered ٹریفک، جرمنی یا فن لینڈ۔ کرپٹو ادائیگی، no KYC۔ سالانہ بلنگ بارہ کے بجائے ایک ٹرانسفر ہے۔

متعلقہ مطالعہ

• AI memory کے لیے ایک vector DB ہوسٹ کریں — ایک نجی RAG اسٹیک کا دوسرا آدھا
• AI agents کے لیے VPS — اسی باکس پر orchestration

تیار؟ ایک سرور تعینات کریں → — تقریباً ایک منٹ میں چالو، کرپٹو میں ادا، کوئی ID درکار نہیں۔

Open WebUI کے لیے VPS: LLMs کے لیے نجی چیٹ انٹرفیس ←