Self-host en LiteLLM-proxy på en VPS: ét OpenAI-kompatibelt endpoint til hver model

Hvis du kører mere end én app — eller én agent, der fanner ud til flere modeller — rammer du til sidst den samme mur: hver udbyder har sin egen SDK, sine egne nøgler, sine egne rate limits og intet enkelt sted at se forbrug. LiteLLM fikser det ved at sætte ét OpenAI-kompatibelt endpoint foran alt. Din kode kalder én URL med et modelnavn; LiteLLM router det til OpenAI, Anthropic, Groq, Together, Mistral, en lokal Ollama — hvad end du konfigurerede — og giver dig budgetter, fallbacks og én log over hvert kald.

At self-hoste den på en VPS betyder, at dine udbyder-nøgler, dine prompts og dine forbrugsdata bor på en boks, du kontrollerer, betalt for i krypto uden KYC.

Hvad en LiteLLM-proxy har brug for

• Ikke meget compute — det er en gateway. Det tunge løft sker hos udbyderne; LiteLLM router bare. Small ($8/md — 4 vCPU, 4 GB RAM) kører komfortabelt proxyen plus en Postgres til virtuelle nøgler og forbrugssporing.
• En dedikeret IP, et domæne og HTTPS. Dine apps og agenter forbinder indgående, så du vil have et dedikeret-IPv4-abonnement, et domæne og TLS. NAT-abonnementer tager ikke indgående webtrafik.
• Udgående til udbyderne. Boksen har brug for normal udgående HTTPS for at nå model-API'erne — det har hvert abonnement.

Docker-opsætning (Ubuntu 24.04)

# dedikeret-IP-abonnement, root-shell
apt update && apt install -y docker.io docker-compose-v2
systemctl enable --now docker

mkdir -p /opt/litellm && cd /opt/litellm
cat > config.yaml <<'EOF'
model_list:
  - model_name: gpt-4o
    litellm_params:
      model: openai/gpt-4o
      api_key: os.environ/OPENAI_API_KEY
  - model_name: claude
    litellm_params:
      model: anthropic/claude-sonnet-4-5
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: local-llama
    litellm_params:
      model: ollama/llama3.1
      api_base: http://host.docker.internal:11434
general_settings:
  master_key: sk-CHANGE-ME          # admin-nøgle; udsted per-app virtuelle nøgler i stedet
EOF

cat > docker-compose.yml <<'EOF'
services:
  litellm:
    image: ghcr.io/berriai/litellm:main-latest
    restart: always
    ports: [ "127.0.0.1:4000:4000" ]
    environment:
      OPENAI_API_KEY: sk-...            # dine udbyder-nøgler
      ANTHROPIC_API_KEY: sk-ant-...
      DATABASE_URL: postgresql://litellm:change_me@postgres:5432/litellm
    volumes: [ ./config.yaml:/app/config.yaml ]
    command: [ "--config", "/app/config.yaml" ]
  postgres:
    image: postgres:16
    restart: always
    environment:
      POSTGRES_USER: litellm
      POSTGRES_PASSWORD: change_me
      POSTGRES_DB: litellm
    volumes: [ ./pgdata:/var/lib/postgresql/data ]
EOF

docker compose up -d

Sæt Caddy eller Nginx foran for automatisk HTTPS på dit domæne, hvorefter enhver OpenAI-SDK bare virker:

curl https://llm.yourdomain.com/v1/chat/completions \
  -H "Authorization: Bearer sk-your-virtual-key" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude","messages":[{"role":"user","content":"ping"}]}'

Hvorfor dette er fantastisk til agenter

En AI-agent eller en multi-agent-flåde laver som regel mange model-kald. Bag en LiteLLM-proxy kan du: sætte et loft på hver agent med sin egen virtuelle nøgle og budget, falde tilbage fra en frontier-model til en billigere automatisk, blande en lokal Ollama med sky-API'er, og læse én log over præcis, hvad hver agent brugte. Skift modeller uden at røre agent-kode — ændr bare konfigurationen.

Hvorfor EQVPS til en LiteLLM-gateway

• Dedikeret IPv4 fra $8/md, domæne + HTTPS-venlig, alle porte, selvbetjent rDNS.
• EU-lokationer (Tyskland, Finland) — rene ruter, reel databeskyttelseslov; dine nøgler og logs forbliver i EU.
• Ingen KYC, kryptobetaling. E-mail for at tilmelde dig, USDC/USDT for at betale.
• Root på ~60 sekunder. Rene Ubuntu/Debian-images; docker compose up og din gateway er live.

VPS til AI-agenter → · Self-host Ollama på en VPS →