یو LiteLLM proxy په یوه VPS ځان-کوربه کړئ: د هر مودل لپاره یو OpenAI-سره سمون endpoint

که تاسو له یوه اپلیکیشن څخه ډیر چلوئ — یا یو اجنټ چې څو مودلونو ته خپریږي — تاسو بالاخره په همدې دیوال ولګیږئ: هر چمتوکوونکی خپل SDK، خپل کیلي، خپل rate limitونه لري، او د لګښت لیدلو هیڅ واحد ځای نشته. LiteLLM دا سموي په دې چې د هر څه مخته یو OpenAI-سره سمون endpoint کیږدي. ستاسو کوډ یو URL د یوه د مودل نوم سره بولي؛ LiteLLM یې OpenAI، Anthropic، Groq، Together، Mistral، یو محلي Ollama — هر څه چې تاسو یې تنظیم کړی — ته لار کوي، او تاسو ته بودجې، fallbackونه، او د هرې کاله یو log درکوي.

په یوه VPS یې ځان-کوربه کول پدې معنی چې ستاسو د چمتوکوونکي کیلي، ستاسو پرامپټونه او ستاسو د لګښت ډیټا یوه box ته اوسیږي چې تاسو یې کنټرولوئ، په crypto بې KYC تادیه شوی.

یو LiteLLM proxy څه ته اړتیا لري

• ډیر محاسبه نه — دا یو gateway دی. درنه کار د چمتوکوونکو کې پیښیږي؛ LiteLLM یوازې لار کوي. Small ($8/میاشت — 4 vCPU، 4 GB RAM) د proxy سربیره یو Postgres د مجازي کیلیو او د لګښت تعقیب لپاره آرام چلوي.
• یو dedicated IP، یو ډومین او HTTPS. ستاسو اپلیکیشنونه او اجنټان دننه‌ورتګ نښلي، نو تاسو یو dedicated-IPv4 پلان، یو ډومین او TLS غواړئ. NAT پلانونه دننه‌ورتګ ویب ترافیک نه مني.
• چمتوکوونکو ته بهرته. box د مودل APIونو ته رسیدو لپاره عادي بهرته HTTPS ته اړتیا لري — هر پلان یې لري.

د Docker تنظیم (Ubuntu 24.04)

# dedicated-IP plan, root shell
apt update && apt install -y docker.io docker-compose-v2
systemctl enable --now docker

mkdir -p /opt/litellm && cd /opt/litellm
cat > config.yaml <<'EOF'
model_list:
  - model_name: gpt-4o
    litellm_params:
      model: openai/gpt-4o
      api_key: os.environ/OPENAI_API_KEY
  - model_name: claude
    litellm_params:
      model: anthropic/claude-sonnet-4-5
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: local-llama
    litellm_params:
      model: ollama/llama3.1
      api_base: http://host.docker.internal:11434
general_settings:
  master_key: sk-CHANGE-ME          # admin key; issue per-app virtual keys instead
EOF

cat > docker-compose.yml <<'EOF'
services:
  litellm:
    image: ghcr.io/berriai/litellm:main-latest
    restart: always
    ports: [ "127.0.0.1:4000:4000" ]
    environment:
      OPENAI_API_KEY: sk-...            # your provider keys
      ANTHROPIC_API_KEY: sk-ant-...
      DATABASE_URL: postgresql://litellm:change_me@postgres:5432/litellm
    volumes: [ ./config.yaml:/app/config.yaml ]
    command: [ "--config", "/app/config.yaml" ]
  postgres:
    image: postgres:16
    restart: always
    environment:
      POSTGRES_USER: litellm
      POSTGRES_PASSWORD: change_me
      POSTGRES_DB: litellm
    volumes: [ ./pgdata:/var/lib/postgresql/data ]
EOF

docker compose up -d

مخته د خپل ډومین اتوماتیک HTTPS لپاره Caddy یا Nginx کیږدئ، بیا هر OpenAI SDK یوازې کار کوي:

curl https://llm.yourdomain.com/v1/chat/completions \
  -H "Authorization: Bearer sk-your-virtual-key" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude","messages":[{"role":"user","content":"ping"}]}'

ولې دا د اجنټانو لپاره عالي دی

یو AI اجنټ یا یو څو-اجنټ فلیټ معمولاً ډیر د مودل کالونه کوي. د یوه LiteLLM proxy تر شا تاسو کولی شئ: هر اجنټ د خپل مجازي کیلي او بودجې سره محدود کړئ، له یوه frontier مودل څخه یوه ارزانه ته په اتوماتیک ډول fallback وکړئ، یو محلي Ollama د cloud APIونو سره وګډوئ، او د دې یو log ولولئ چې دقیقاً هر اجنټ څه ولګول. مودلونه د اجنټ کوډ لمس کولو پرته بدل کړئ — یوازې config بدل کړئ.

ولې EQVPS د یوه LiteLLM gateway لپاره

• له $8/میاشت Dedicated IPv4، ډومین + HTTPS دوستانه، ټول پورټونه، self-service rDNS.
• اروپايي موقعیتونه (جرمني، فنلینډ) — پاکې لارې، ریښتینی د ډیټا ساتنې قانون؛ ستاسو کیلي او logونه په اروپا کې پاتې کیږي.
• بې KYC، د crypto تادیه. راجستر لپاره بریښنالیک، تادیې لپاره USDC/USDT.
• په ~۶۰ ثانیو کې root. پاک Ubuntu/Debian تصویرونه؛ docker compose up او ستاسو gateway ژوندی دی.

VPS د AI اجنټانو لپاره → · Ollama په یوه VPS ځان-کوربه کړئ →