VPS پر LiteLLM پراکسی سیلف ہوسٹ کریں: ہر ماڈل کے لیے ایک OpenAI مطابق اینڈ پوائنٹ

اگر آپ ایک سے زیادہ ایپ چلاتے ہیں — یا ایک ایجنٹ جو کئی ماڈلز میں بٹتا ہے — تو بالآخر اسی دیوار سے ٹکراتے ہیں: ہر فراہم کنندہ کا اپنا SDK، اپنی کیز، اپنی ریٹ لیمٹ ہے، اور اخراجات دیکھنے کی کوئی ایک جگہ نہیں۔ LiteLLM ہر چیز کے سامنے ایک OpenAI مطابق اینڈ پوائنٹ رکھ کر اسے حل کرتا ہے۔ آپ کا کوڈ ایک ماڈل نام کے ساتھ ایک URL کال کرتا ہے؛ LiteLLM اسے OpenAI، Anthropic، Groq، Together، Mistral، مقامی Ollama — جو آپ کنفیگر کریں — کی طرف روٹ کرتا ہے، اور آپ کو بجٹ، فال بیک اور ہر کال کا ایک لاگ دیتا ہے۔

اسے VPS پر سیلف ہوسٹ کرنے کا مطلب ہے کہ آپ کی فراہم کنندہ کیز، پرامپٹس اور اخراجات کا ڈیٹا اُس مشین پر رہتا ہے جسے آپ کنٹرول کرتے ہیں، کرپٹو سے بغیر KYC ادائیگی کے ساتھ۔

LiteLLM پراکسی کو کیا چاہیے

• کمپیوٹنگ کم — یہ ایک گیٹ وے ہے۔ بھاری کام فراہم کنندگان پر ہوتا ہے؛ LiteLLM صرف روٹ کرتا ہے۔ Small ($8/ماہ — 4 vCPU، 4 GB RAM) پراکسی اور ورچوئل کیز و اخراجات ٹریکنگ کے لیے ایک Postgres آرام سے چلاتا ہے۔
• ایک ڈیڈیکیٹڈ IP، ایک ڈومین اور HTTPS۔ ایپس اور ایجنٹس اِن باؤنڈ جڑتے ہیں، لہٰذا آپ کو ڈیڈیکیٹڈ IPv4 پلان، ڈومین اور TLS چاہیے۔ NAT پلانز اِن باؤنڈ ویب ٹریفک نہیں لیتے۔
• فراہم کنندگان کی طرف آؤٹ باؤنڈ۔ مشین کو ماڈل APIs تک پہنچنے کے لیے عام آؤٹ باؤنڈ HTTPS چاہیے — ہر پلان میں ہے۔

Docker سیٹ اپ (Ubuntu 24.04)

apt update && apt install -y docker.io docker-compose-v2
systemctl enable --now docker

mkdir -p /opt/litellm && cd /opt/litellm
cat > config.yaml <<'EOF'
model_list:
  - model_name: gpt-4o
    litellm_params:
      model: openai/gpt-4o
      api_key: os.environ/OPENAI_API_KEY
  - model_name: claude
    litellm_params:
      model: anthropic/claude-sonnet-4-5
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: local-llama
    litellm_params:
      model: ollama/llama3.1
      api_base: http://host.docker.internal:11434
general_settings:
  master_key: sk-CHANGE-ME
EOF

cat > docker-compose.yml <<'EOF'
services:
  litellm:
    image: ghcr.io/berriai/litellm:main-latest
    restart: always
    ports: [ "127.0.0.1:4000:4000" ]
    environment:
      OPENAI_API_KEY: sk-...
      ANTHROPIC_API_KEY: sk-ant-...
      DATABASE_URL: postgresql://litellm:change_me@postgres:5432/litellm
    volumes: [ ./config.yaml:/app/config.yaml ]
    command: [ "--config", "/app/config.yaml" ]
  postgres:
    image: postgres:16
    restart: always
    environment:
      POSTGRES_USER: litellm
      POSTGRES_PASSWORD: change_me
      POSTGRES_DB: litellm
    volumes: [ ./pgdata:/var/lib/postgresql/data ]
EOF

docker compose up -d

اپنے ڈومین پر خودکار HTTPS کے لیے آگے Caddy یا Nginx رکھیں، پھر کوئی بھی OpenAI SDK بس کام کرتا ہے:

curl https://llm.yourdomain.com/v1/chat/completions \
  -H "Authorization: Bearer sk-your-virtual-key" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude","messages":[{"role":"user","content":"ping"}]}'

یہ ایجنٹس کے لیے کیوں بہترین ہے

ایک AI ایجنٹ یا ملٹی ایجنٹ فلیٹ عام طور پر بہت سی ماڈل کالز کرتا ہے۔ LiteLLM پراکسی کے پیچھے آپ کر سکتے ہیں: ہر ایجنٹ کو اپنی ورچوئل کی اور بجٹ سے محدود کریں، فرنٹیئر ماڈل سے سستے ماڈل پر خودکار فال بیک کریں، مقامی Ollama کو کلاؤڈ APIs کے ساتھ ملائیں، اور ہر ایجنٹ نے بالکل کتنا خرچ کیا اس کا ایک لاگ پڑھیں۔ ایجنٹ کوڈ چھوئے بغیر ماڈل بدلیں — بس کنفیگ بدلیں۔

LiteLLM گیٹ وے کے لیے EQVPS کیوں

• $8/ماہ سے ڈیڈیکیٹڈ IPv4، ڈومین + HTTPS دوست، تمام پورٹس، سیلف سروس ریورس DNS۔
• EU مقامات (جرمنی، فن لینڈ) — صاف روٹس، اصلی ڈیٹا تحفظ قانون؛ آپ کی کیز اور لاگز EU میں رہتے ہیں۔
• بغیر KYC، کرپٹو سے ادائیگی۔ رجسٹر کے لیے ای میل، ادائیگی کے لیے USDC/USDT۔
• ~60 سیکنڈ میں root۔ صاف Ubuntu/Debian امیجز؛ docker compose up اور آپ کا گیٹ وے لائیو۔

AI ایجنٹس کے لیے VPS → · VPS پر Ollama سیلف ہوسٹ کریں →