Hosting sendiri proxy LiteLLM di VPS: satu endpoint kompatibel OpenAI untuk semua model

Jika Anda menjalankan lebih dari satu aplikasi — atau satu agen yang bercabang ke beberapa model — Anda akhirnya menabrak tembok yang sama: tiap penyedia punya SDK sendiri, kunci sendiri, batas laju sendiri, dan tak ada satu tempat untuk melihat pengeluaran. LiteLLM memperbaikinya dengan menempatkan satu endpoint kompatibel OpenAI di depan segalanya. Kode Anda memanggil satu URL dengan nama model; LiteLLM merutekannya ke OpenAI, Anthropic, Groq, Together, Mistral, Ollama lokal — apa pun yang Anda konfigurasi — dan memberi Anda anggaran, fallback, dan satu log setiap panggilan.

Hosting sendiri di VPS berarti kunci penyedia, prompt, dan data pengeluaran Anda tinggal di mesin yang Anda kendalikan, dibayar dengan kripto tanpa KYC.

Yang dibutuhkan proxy LiteLLM

• Sedikit komputasi — ini gateway. Pekerjaan berat terjadi di penyedia; LiteLLM hanya merutekan. Small ($8/bln — 4 vCPU, 4 GB RAM) nyaman menjalankan proxy plus Postgres untuk kunci virtual dan pelacakan pengeluaran.
• IP khusus, domain, dan HTTPS. Aplikasi dan agen terhubung masuk, jadi Anda perlu paket IPv4 khusus, domain, dan TLS. Paket NAT tidak menerima trafik web masuk.
• Keluar ke penyedia. Mesin perlu HTTPS keluar biasa untuk menjangkau API model — setiap paket punya.

Penyiapan Docker (Ubuntu 24.04)

apt update && apt install -y docker.io docker-compose-v2
systemctl enable --now docker

mkdir -p /opt/litellm && cd /opt/litellm
cat > config.yaml <<'EOF'
model_list:
  - model_name: gpt-4o
    litellm_params:
      model: openai/gpt-4o
      api_key: os.environ/OPENAI_API_KEY
  - model_name: claude
    litellm_params:
      model: anthropic/claude-sonnet-4-5
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: local-llama
    litellm_params:
      model: ollama/llama3.1
      api_base: http://host.docker.internal:11434
general_settings:
  master_key: sk-CHANGE-ME
EOF

cat > docker-compose.yml <<'EOF'
services:
  litellm:
    image: ghcr.io/berriai/litellm:main-latest
    restart: always
    ports: [ "127.0.0.1:4000:4000" ]
    environment:
      OPENAI_API_KEY: sk-...
      ANTHROPIC_API_KEY: sk-ant-...
      DATABASE_URL: postgresql://litellm:change_me@postgres:5432/litellm
    volumes: [ ./config.yaml:/app/config.yaml ]
    command: [ "--config", "/app/config.yaml" ]
  postgres:
    image: postgres:16
    restart: always
    environment:
      POSTGRES_USER: litellm
      POSTGRES_PASSWORD: change_me
      POSTGRES_DB: litellm
    volumes: [ ./pgdata:/var/lib/postgresql/data ]
EOF

docker compose up -d

Letakkan Caddy atau Nginx di depan untuk HTTPS otomatis di domain Anda, lalu SDK OpenAI apa pun langsung bekerja:

curl https://llm.yourdomain.com/v1/chat/completions \
  -H "Authorization: Bearer sk-your-virtual-key" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude","messages":[{"role":"user","content":"ping"}]}'

Mengapa ini bagus untuk agen

Sebuah agen AI atau armada multi-agen biasanya melakukan banyak panggilan model. Di balik proxy LiteLLM Anda bisa: membatasi tiap agen dengan kunci virtual dan anggarannya sendiri, jatuh otomatis dari model canggih ke yang lebih murah, mencampur Ollama lokal dengan API cloud, dan membaca satu log persis berapa yang dibelanjakan tiap agen. Ganti model tanpa menyentuh kode agen — cukup ubah konfigurasi.

Mengapa EQVPS untuk gateway LiteLLM

• IPv4 khusus mulai $8/bln, ramah domain + HTTPS, semua port, reverse DNS swalayan.
• Lokasi UE (Jerman, Finlandia) — rute bersih, hukum perlindungan data nyata; kunci dan log Anda tetap di UE.
• Tanpa KYC, bayar kripto. Email untuk daftar, USDC/USDT untuk bayar.
• Root dalam ~60 detik. Image Ubuntu/Debian bersih; docker compose up dan gateway Anda aktif.

VPS untuk agen AI → · Hosting sendiri Ollama di VPS →