Self-hosta en LiteLLM-proxy på en VPS: en OpenAI-kompatibel endpoint för varje modell

Om du kör mer än en app — eller en agent som fläktar ut till flera modeller — stöter du till slut i samma vägg: varje leverantör har sin egen SDK, sina egna nycklar, sina egna rate limits, och ingen enda plats att se spend. LiteLLM fixar det genom att sätta en OpenAI-kompatibel endpoint framför allt. Din kod anropar en URL med ett modellnamn; LiteLLM dirigerar den till OpenAI, Anthropic, Groq, Together, Mistral, en lokal Ollama — vad du än konfigurerade — och ger dig budgetar, fallbacks, och en logg av varje anrop.

Att self-hosta det på en VPS betyder att dina leverantörsnycklar, dina prompter och din spend-data lever på en box du kontrollerar, betald i krypto utan KYC.

Vad en LiteLLM-proxy behöver

• Inte mycket compute — det är en gateway. Det tunga arbetet sker hos leverantörerna; LiteLLM dirigerar bara. Small ($8/mån — 4 vCPU, 4 GB RAM) kör bekvämt proxyn plus en Postgres för virtuella nycklar och spend-spårning.
• En dedikerad IP, en domän och HTTPS. Dina appar och agenter ansluter inkommande, så du vill ha ett dedikerad-IPv4-plan, en domän och TLS. NAT-plan tar inte inkommande webbtrafik.
• Utgående till leverantörerna. Boxen behöver normal utgående HTTPS för att nå model-API:erna — varje plan har det.

Docker-uppsättning (Ubuntu 24.04)

# dedicated-IP plan, root shell
apt update && apt install -y docker.io docker-compose-v2
systemctl enable --now docker

mkdir -p /opt/litellm && cd /opt/litellm
cat > config.yaml <<'EOF'
model_list:
  - model_name: gpt-4o
    litellm_params:
      model: openai/gpt-4o
      api_key: os.environ/OPENAI_API_KEY
  - model_name: claude
    litellm_params:
      model: anthropic/claude-sonnet-4-5
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: local-llama
    litellm_params:
      model: ollama/llama3.1
      api_base: http://host.docker.internal:11434
general_settings:
  master_key: sk-CHANGE-ME          # admin key; issue per-app virtual keys instead
EOF

cat > docker-compose.yml <<'EOF'
services:
  litellm:
    image: ghcr.io/berriai/litellm:main-latest
    restart: always
    ports: [ "127.0.0.1:4000:4000" ]
    environment:
      OPENAI_API_KEY: sk-...            # your provider keys
      ANTHROPIC_API_KEY: sk-ant-...
      DATABASE_URL: postgresql://litellm:change_me@postgres:5432/litellm
    volumes: [ ./config.yaml:/app/config.yaml ]
    command: [ "--config", "/app/config.yaml" ]
  postgres:
    image: postgres:16
    restart: always
    environment:
      POSTGRES_USER: litellm
      POSTGRES_PASSWORD: change_me
      POSTGRES_DB: litellm
    volumes: [ ./pgdata:/var/lib/postgresql/data ]
EOF

docker compose up -d

Sätt Caddy eller Nginx framför för automatisk HTTPS på din domän, sedan fungerar vilken OpenAI SDK som helst:

curl https://llm.yourdomain.com/v1/chat/completions \
  -H "Authorization: Bearer sk-your-virtual-key" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude","messages":[{"role":"user","content":"ping"}]}'

Varför detta är utmärkt för agenter

En AI-agent eller en multi-agent-flotta gör oftast många model-anrop. Bakom en LiteLLM-proxy kan du: begränsa varje agent med sin egen virtuella nyckel och budget, falla tillbaka från en frontier-modell till en billigare automatiskt, blanda en lokal Ollama med cloud-API:er, och läsa en logg av exakt vad varje agent spenderade. Byt modeller utan att röra agent-kod — ändra bara configen.

Varför EQVPS för en LiteLLM-gateway

• Dedikerad IPv4 från $8/mån, domän + HTTPS-vänlig, alla portar, self-service rDNS.
• EU-platser (Tyskland, Finland) — rena rutter, verklig dataskyddslag; dina nycklar och loggar stannar i EU.
• Ingen KYC, krypto-betalning. E-post för att registrera, USDC/USDT för att betala.
• Root på ~60 sekunder. Rena Ubuntu/Debian-images; docker compose up och din gateway är live.

VPS för AI-agenter → · Self-hosta Ollama på en VPS →