Găzduiește un proxy LiteLLM pe un VPS: un singur endpoint compatibil OpenAI pentru toate modelele

Dacă rulezi mai mult de o aplicație — sau un agent care trimite cereri spre mai multe modele —, ajungi până la urmă la același zid: fiecare furnizor are propriul SDK, propriile chei, propriile limite de rată și niciun loc unic în care să vezi cheltuielile. LiteLLM rezolvă asta punând un singur endpoint compatibil OpenAI în fața tuturor. Codul tău apelează un URL cu un nume de model; LiteLLM îl redirecționează spre OpenAI, Anthropic, Groq, Together, Mistral, un Ollama local — ce ai configurat — și îți dă bugete, rezerve și un singur log al fiecărui apel.

Găzduit pe un VPS, cheile furnizorilor, prompturile și datele de cheltuieli stau pe o mașină pe care o controlezi tu, plătită cu cripto, fără KYC.

De ce are nevoie un proxy LiteLLM

• Nu de mult calcul — e un gateway. Munca grea se face la furnizori; LiteLLM doar redirecționează. Small ($8/lună — 4 vCPU, 4 GB RAM) rulează comod proxy-ul plus un Postgres pentru cheile virtuale și urmărirea cheltuielilor.
• Un IP dedicat, un domeniu și HTTPS. Aplicațiile și agenții tăi se conectează din exterior, deci vrei un plan cu IPv4 dedicat, un domeniu și TLS. Planurile NAT nu acceptă trafic web de intrare.
• Ieșire spre furnizori. Mașina are nevoie de HTTPS obișnuit spre exterior ca să ajungă la API-urile modelelor — orice plan are asta.

Configurarea Docker (Ubuntu 24.04)

# dedicated-IP plan, root shell
apt update && apt install -y docker.io docker-compose-v2
systemctl enable --now docker

mkdir -p /opt/litellm && cd /opt/litellm
cat > config.yaml <<'EOF'
model_list:
  - model_name: gpt-4o
    litellm_params:
      model: openai/gpt-4o
      api_key: os.environ/OPENAI_API_KEY
  - model_name: claude
    litellm_params:
      model: anthropic/claude-sonnet-4-5
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: local-llama
    litellm_params:
      model: ollama/llama3.1
      api_base: http://host.docker.internal:11434
general_settings:
  master_key: sk-CHANGE-ME          # admin key; issue per-app virtual keys instead
EOF

cat > docker-compose.yml <<'EOF'
services:
  litellm:
    image: ghcr.io/berriai/litellm:main-latest
    restart: always
    ports: [ "127.0.0.1:4000:4000" ]
    environment:
      OPENAI_API_KEY: sk-...            # your provider keys
      ANTHROPIC_API_KEY: sk-ant-...
      DATABASE_URL: postgresql://litellm:change_me@postgres:5432/litellm
    volumes: [ ./config.yaml:/app/config.yaml ]
    command: [ "--config", "/app/config.yaml" ]
  postgres:
    image: postgres:16
    restart: always
    environment:
      POSTGRES_USER: litellm
      POSTGRES_PASSWORD: change_me
      POSTGRES_DB: litellm
    volumes: [ ./pgdata:/var/lib/postgresql/data ]
EOF

docker compose up -d

Pune Caddy sau Nginx în față pentru HTTPS automat pe domeniul tău, apoi orice SDK OpenAI merge direct:

curl https://llm.yourdomain.com/v1/chat/completions \
  -H "Authorization: Bearer sk-your-virtual-key" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude","messages":[{"role":"user","content":"ping"}]}'

De ce e excelent pentru agenți

Un agent AI sau o flotă multi-agent face de obicei multe apeluri spre modele. În spatele unui proxy LiteLLM poți: să limitezi fiecare agent cu propria cheie virtuală și propriul buget, să treci automat de la un model de vârf la unul mai ieftin, să combini un Ollama local cu API-uri din cloud și să citești un singur log cu exact ce a cheltuit fiecare agent. Schimbi modelele fără să atingi codul agenților — doar schimbi configurația.

De ce EQVPS pentru un gateway LiteLLM

• IPv4 dedicat de la $8/lună, potrivit pentru domeniu + HTTPS, toate porturile, rDNS self-service.
• Locații în UE — rute curate, o lege reală a protecției datelor; cheile și logurile tale rămân în UE.
• Fără KYC, plată cripto. E-mail la înregistrare, USDC/USDT la plată.
• Root în ~60 de secunde. Imagini curate de Ubuntu/Debian; docker compose up și gatewayul tău e online.

VPS pentru agenți AI → · Găzduiește Ollama pe un VPS →

VPS pentru Open WebUI: o interfață de chat privată pentru LLM-uri →