Fai self-hosting di un proxy LiteLLM su un VPS: un unico endpoint compatibile OpenAI per ogni modello

Se fai girare più di un'app — o un agente che dirama verso diversi modelli — prima o poi incontri lo stesso muro: ogni provider ha il proprio SDK, le proprie chiavi, i propri rate limit, e nessun posto unico per vedere la spesa. LiteLLM risolve questo mettendo un unico endpoint compatibile OpenAI davanti a tutto. Il tuo codice chiama un URL con un nome di modello; LiteLLM lo instrada verso OpenAI, Anthropic, Groq, Together, Mistral, un Ollama locale — qualunque cosa tu abbia configurato — e ti dà budget, fallback, e un unico log di ogni chiamata.

Farne self-hosting su un VPS significa che le chiavi dei tuoi provider, i tuoi prompt e i tuoi dati di spesa vivono su una macchina che controlli tu, pagata in crypto senza KYC.

Cosa serve a un proxy LiteLLM

• Non molto calcolo — è un gateway. Il lavoro pesante avviene dai provider; LiteLLM instrada soltanto. Small ($8/mese — 4 vCPU, 4 GB RAM) fa girare comodamente il proxy più un Postgres per chiavi virtuali e tracciamento della spesa.
• Un IP dedicato, un dominio e HTTPS. Le tue app e i tuoi agenti si connettono in entrata, quindi vuoi un piano con IPv4 dedicato, un dominio e TLS. I piani NAT non prendono traffico web in entrata.
• Uscita verso i provider. La macchina ha bisogno di normale HTTPS in uscita per raggiungere le API dei modelli — ogni piano ce l'ha.

Setup Docker (Ubuntu 24.04)

# piano con IP dedicato, shell root
apt update && apt install -y docker.io docker-compose-v2
systemctl enable --now docker

mkdir -p /opt/litellm && cd /opt/litellm
cat > config.yaml <<'EOF'
model_list:
  - model_name: gpt-4o
    litellm_params:
      model: openai/gpt-4o
      api_key: os.environ/OPENAI_API_KEY
  - model_name: claude
    litellm_params:
      model: anthropic/claude-sonnet-4-5
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: local-llama
    litellm_params:
      model: ollama/llama3.1
      api_base: http://host.docker.internal:11434
general_settings:
  master_key: sk-CHANGE-ME          # chiave admin; emetti invece chiavi virtuali per-app
EOF

cat > docker-compose.yml <<'EOF'
services:
  litellm:
    image: ghcr.io/berriai/litellm:main-latest
    restart: always
    ports: [ "127.0.0.1:4000:4000" ]
    environment:
      OPENAI_API_KEY: sk-...            # le chiavi dei tuoi provider
      ANTHROPIC_API_KEY: sk-ant-...
      DATABASE_URL: postgresql://litellm:change_me@postgres:5432/litellm
    volumes: [ ./config.yaml:/app/config.yaml ]
    command: [ "--config", "/app/config.yaml" ]
  postgres:
    image: postgres:16
    restart: always
    environment:
      POSTGRES_USER: litellm
      POSTGRES_PASSWORD: change_me
      POSTGRES_DB: litellm
    volumes: [ ./pgdata:/var/lib/postgresql/data ]
EOF

docker compose up -d

Metti Caddy o Nginx davanti per HTTPS automatico sul tuo dominio, poi qualsiasi SDK OpenAI funziona e basta:

curl https://llm.yourdomain.com/v1/chat/completions \
  -H "Authorization: Bearer sk-your-virtual-key" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude","messages":[{"role":"user","content":"ping"}]}'

Perché è ottimo per gli agenti

Un agente AI o una flotta multi-agente di solito fa molte chiamate al modello. Dietro un proxy LiteLLM puoi: limitare ogni agente con la propria chiave virtuale e il proprio budget, ripiegare automaticamente da un modello di frontiera a uno più economico, mischiare un Ollama locale con API cloud, e leggere un unico log di esattamente quanto ha speso ogni agente. Cambia modelli senza toccare il codice dell'agente — cambia solo la config.

Perché EQVPS per un gateway LiteLLM

• IPv4 dedicato da $8/mese, amichevole con dominio + HTTPS, tutte le porte, rDNS self-service.
• Posizioni UE (Germania, Finlandia) — rotte pulite, vera legge sulla protezione dei dati; le tue chiavi e i tuoi log restano in UE.
• Niente KYC, pagamento in crypto. Email per registrarti, USDC/USDT per pagare.
• Root in ~60 secondi. Immagini Ubuntu/Debian pulite; docker compose up e il tuo gateway è live.

VPS per agenti AI → · Fai self-hosting di Ollama su un VPS →