LiteLLM proxy በVPS ላይ self-host ማድረግ: ለእያንዳንዱ model አንድ OpenAI-compatible endpoint

ከአንድ በላይ app ካሄዱ — ወይም ወደ በርካታ models የሚfan out አንድ agent — በመጨረሻ ተመሳሳይ ግድግዳ ይመታሉ: እያንዳንዱ provider የራሱ SDK፣ የራሱ keys፣ የራሱ rate limits አለው፣ እና spend ለማየት አንድ ቦታ የለም። LiteLLM ከሁሉም ፊት አንድ OpenAI-compatible endpoint በማስቀመጥ ያንን ያስተካክላል። codeዎ አንድ URLን ከmodel name ጋር ይጠራል፤ LiteLLM ወደ OpenAI፣ Anthropic፣ Groq፣ Together፣ Mistral፣ local Ollama — ያዋቀሩት ማንኛውም — ይroute ያደርጋል፣ እና budgets፣ fallbacks፣ እና የእያንዳንዱ call አንድ log ይሰጥዎታል።

በVPS ላይ self-host ማድረግ provider keysዎ፣ prompts እና spend data እርስዎ በሚቆጣጠሩት box ላይ ይኖራሉ ማለት ነው፣ በcrypto ያለKYC የተከፈለ።

LiteLLM proxy ምን እንደሚፈልግ

• ብዙ compute አይደለም — gateway ነው። ከባዱ ስራ በproviders ላይ ይከሰታል፤ LiteLLM ብቻ ይroute ያደርጋል። Small ($8/ወር — 4 vCPU፣ 4 GB RAM) ለproxy ከvirtual keys እና spend tracking Postgres ጋር በምቾት ያሄዳል።
• dedicated IP፣ domain እና HTTPS። appsዎ እና agents inbound ይገናኛሉ፣ ስለዚህ dedicated-IPv4 plan፣ domain እና TLS ይፈልጋሉ። NAT plans inbound web traffic አይወስዱም።
• ወደ providers outbound። box የmodel APIsን ለመድረስ normal outbound HTTPS ይፈልጋል — እያንዳንዱ plan አለው።

Docker setup (Ubuntu 24.04)

# dedicated-IP plan, root shell
apt update && apt install -y docker.io docker-compose-v2
systemctl enable --now docker

mkdir -p /opt/litellm && cd /opt/litellm
cat > config.yaml <<'EOF'
model_list:
  - model_name: gpt-4o
    litellm_params:
      model: openai/gpt-4o
      api_key: os.environ/OPENAI_API_KEY
  - model_name: claude
    litellm_params:
      model: anthropic/claude-sonnet-4-5
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: local-llama
    litellm_params:
      model: ollama/llama3.1
      api_base: http://host.docker.internal:11434
general_settings:
  master_key: sk-CHANGE-ME          # admin key; issue per-app virtual keys instead
EOF

cat > docker-compose.yml <<'EOF'
services:
  litellm:
    image: ghcr.io/berriai/litellm:main-latest
    restart: always
    ports: [ "127.0.0.1:4000:4000" ]
    environment:
      OPENAI_API_KEY: sk-...            # your provider keys
      ANTHROPIC_API_KEY: sk-ant-...
      DATABASE_URL: postgresql://litellm:change_me@postgres:5432/litellm
    volumes: [ ./config.yaml:/app/config.yaml ]
    command: [ "--config", "/app/config.yaml" ]
  postgres:
    image: postgres:16
    restart: always
    environment:
      POSTGRES_USER: litellm
      POSTGRES_PASSWORD: change_me
      POSTGRES_DB: litellm
    volumes: [ ./pgdata:/var/lib/postgresql/data ]
EOF

docker compose up -d

በdomainዎ ላይ automatic HTTPS ለማግኘት ከፊት Caddy ወይም Nginx ያስቀምጡ፣ ከዚያ ማንኛውም OpenAI SDK ብቻ ይሠራል:

curl https://llm.yourdomain.com/v1/chat/completions \
  -H "Authorization: Bearer sk-your-virtual-key" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude","messages":[{"role":"user","content":"ping"}]}'

ይህ ለagents ለምን ግሩም እንደሆነ

AI agent ወይም multi-agent fleet አብዛኛውን ጊዜ ብዙ model calls ያደርጋል። ከLiteLLM proxy በስተጀርባ ማድረግ ይችላሉ: እያንዳንዱን agent በራሱ virtual key እና budget ይገድቡ፣ ከfrontier model ወደ ርካሽ በራስ-ሰር ይfall back ያድርጉ፣ local Ollamaን ከcloud APIs ጋር ያዋሃዱ፣ እና እያንዳንዱ agent በትክክል ምን እንዳወጣ አንድ log ያንብቡ። agent code ሳይነኩ models ይቀይሩ — configን ብቻ ይቀይሩ።

ለLiteLLM gateway ለምን EQVPS

• dedicated IPv4 ከ$8/ወር፣ domain + HTTPS-friendly፣ ሁሉም ports፣ self-service rDNS።
• EU locations (ጀርመን፣ Finland) — ንፁህ routes፣ እውነተኛ data-protection law፤ keysዎ እና logs በEU ውስጥ ይቆያሉ።
• KYC የለም፣ crypto payment። ለመመዝገብ ኢሜይል፣ ለመክፈል USDC/USDT።
• Root በ~60 ሰከንድ። ንፁህ Ubuntu/Debian images፤ docker compose up እና gatewayዎ live ነው።

VPS ለAI agents → · Ollama በVPS ላይ self-host ያድርጉ →