LiteLLM-Proxy selbst hosten auf einem VPS: ein OpenAI-kompatibler Endpunkt für jedes Modell

Wer mehr als eine App betreibt — oder einen Agenten, der zu mehreren Modellen verzweigt — stößt irgendwann an dieselbe Wand: jeder Anbieter hat sein eigenes SDK, eigene Schlüssel, eigene Rate-Limits und keinen einzigen Ort, um Ausgaben zu sehen. LiteLLM löst das, indem es einen OpenAI-kompatiblen Endpunkt vor alles setzt. Dein Code ruft eine URL mit einem Modellnamen auf; LiteLLM routet zu OpenAI, Anthropic, Groq, Together, Mistral, einem lokalen Ollama — was du konfiguriert hast — und gibt dir Budgets, Fallbacks und ein Log jedes Aufrufs.

Es selbst auf einem VPS zu hosten bedeutet, dass deine Anbieter-Schlüssel, Prompts und Ausgabendaten auf einer Maschine liegen, die du kontrollierst, bezahlt in Krypto ohne KYC.

Was ein LiteLLM-Proxy braucht

• Wenig Rechenleistung — es ist ein Gateway. Die schwere Arbeit passiert bei den Anbietern; LiteLLM routet nur. Small ($8/Monat — 4 vCPU, 4 GB RAM) trägt bequem den Proxy plus ein Postgres für virtuelle Schlüssel und Ausgaben-Tracking.
• Eine dedizierte IP, eine Domain und HTTPS. Apps und Agenten verbinden sich eingehend, also willst du einen Plan mit dedizierter IPv4, eine Domain und TLS. NAT-Pläne nehmen keinen eingehenden Web-Traffic.
• Ausgehend zu den Anbietern. Die Maschine braucht normales ausgehendes HTTPS zu den Modell-APIs — das hat jeder Plan.

Docker-Setup (Ubuntu 24.04)

apt update && apt install -y docker.io docker-compose-v2
systemctl enable --now docker

mkdir -p /opt/litellm && cd /opt/litellm
cat > config.yaml <<'EOF'
model_list:
  - model_name: gpt-4o
    litellm_params:
      model: openai/gpt-4o
      api_key: os.environ/OPENAI_API_KEY
  - model_name: claude
    litellm_params:
      model: anthropic/claude-sonnet-4-5
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: local-llama
    litellm_params:
      model: ollama/llama3.1
      api_base: http://host.docker.internal:11434
general_settings:
  master_key: sk-CHANGE-ME
EOF

cat > docker-compose.yml <<'EOF'
services:
  litellm:
    image: ghcr.io/berriai/litellm:main-latest
    restart: always
    ports: [ "127.0.0.1:4000:4000" ]
    environment:
      OPENAI_API_KEY: sk-...
      ANTHROPIC_API_KEY: sk-ant-...
      DATABASE_URL: postgresql://litellm:change_me@postgres:5432/litellm
    volumes: [ ./config.yaml:/app/config.yaml ]
    command: [ "--config", "/app/config.yaml" ]
  postgres:
    image: postgres:16
    restart: always
    environment:
      POSTGRES_USER: litellm
      POSTGRES_PASSWORD: change_me
      POSTGRES_DB: litellm
    volumes: [ ./pgdata:/var/lib/postgresql/data ]
EOF

docker compose up -d

Setze Caddy oder Nginx davor für automatisches HTTPS auf deiner Domain, dann funktioniert jedes OpenAI-SDK einfach:

curl https://llm.yourdomain.com/v1/chat/completions \
  -H "Authorization: Bearer sk-your-virtual-key" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude","messages":[{"role":"user","content":"ping"}]}'

Warum das großartig für Agenten ist

Ein KI-Agent oder eine Multi-Agent-Flotte macht meist viele Modellaufrufe. Hinter einem LiteLLM-Proxy kannst du: jeden Agenten mit eigenem virtuellen Schlüssel und Budget begrenzen, automatisch von einem Frontier-Modell auf ein günstigeres zurückfallen, ein lokales Ollama mit Cloud-APIs mischen und ein Log lesen, was genau jeder Agent ausgegeben hat. Modelle wechseln ohne Agent-Code anzufassen — einfach die Konfig ändern.

Warum EQVPS für ein LiteLLM-Gateway

• Dedizierte IPv4 ab $8/Monat, Domain- + HTTPS-freundlich, alle Ports, Self-Service rDNS.
• EU-Standorte (Deutschland, Finnland) — saubere Routen, echtes Datenschutzrecht; deine Schlüssel und Logs bleiben in der EU.
• Ohne KYC, Zahlung in Krypto. E-Mail zum Anmelden, USDC/USDT zum Zahlen.
• Root in ~60 Sekunden. Saubere Ubuntu/Debian-Images; docker compose up und dein Gateway ist live.

VPS für KI-Agenten → · Ollama auf einem VPS selbst hosten →