在 VPS 上自託管 LiteLLM 代理：一個 OpenAI 相容端點接入所有模型

如果您執行不止一個應用——或一個分發到多個模型的 agent——您遲早會撞上同一堵牆：每個提供商都有自己的 SDK、金鑰、限速，且沒有統一的地方檢視花費。LiteLLM 透過在一切之前放置一個 OpenAI 相容 端點解決了這個問題。您的程式碼用一個模型名呼叫一個 URL；LiteLLM 將其路由到 OpenAI、Anthropic、Groq、Together、Mistral、本機 Ollama——您所設定的任何一個——並提供預算、回退，以及每次呼叫的統一記錄。

在 VPS 上自託管意味著您的提供商金鑰、提示詞和花費資料都存在您掌控的機器上，用加密貨幣付款、免 KYC。

LiteLLM 代理需要什麼

• 算力不多——它是閘道。 繁重工作發生在提供商處；LiteLLM 只做路由。Small（每月 $8——4 vCPU、4 GB RAM） 足以執行代理外加用於虛擬金鑰與花費追蹤的 Postgres。
• 一個專用 IP、一個網域和 HTTPS。 應用和 agent 對內連線，因此您需要專用 IPv4 方案、網域和 TLS。NAT 方案不接受對內網頁流量。
• 對提供商的對外。 機器需要普通的對外 HTTPS 以存取模型 API——每個方案都有。

Docker 設定（Ubuntu 24.04）

# 獨立 IP 方案，root shell
apt update && apt install -y docker.io docker-compose-v2
systemctl enable --now docker

mkdir -p /opt/litellm && cd /opt/litellm
cat > config.yaml <<'EOF'
model_list:
  - model_name: gpt-4o
    litellm_params:
      model: openai/gpt-4o
      api_key: os.environ/OPENAI_API_KEY
  - model_name: claude
    litellm_params:
      model: anthropic/claude-sonnet-4-5
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: local-llama
    litellm_params:
      model: ollama/llama3.1
      api_base: http://host.docker.internal:11434
general_settings:
  master_key: sk-CHANGE-ME          # 管理金鑰；請改為按應用簽發虛擬金鑰
EOF

cat > docker-compose.yml <<'EOF'
services:
  litellm:
    image: ghcr.io/berriai/litellm:main-latest
    restart: always
    ports: [ "127.0.0.1:4000:4000" ]
    environment:
      OPENAI_API_KEY: sk-...            # 你的提供商金鑰
      ANTHROPIC_API_KEY: sk-ant-...
      DATABASE_URL: postgresql://litellm:change_me@postgres:5432/litellm
    volumes: [ ./config.yaml:/app/config.yaml ]
    command: [ "--config", "/app/config.yaml" ]
  postgres:
    image: postgres:16
    restart: always
    environment:
      POSTGRES_USER: litellm
      POSTGRES_PASSWORD: change_me
      POSTGRES_DB: litellm
    volumes: [ ./pgdata:/var/lib/postgresql/data ]
EOF

docker compose up -d

在前面放上 Caddy 或 Nginx 為您的網域提供自動 HTTPS，然後任何 OpenAI SDK 都能直接工作：

curl https://llm.yourdomain.com/v1/chat/completions \
  -H "Authorization: Bearer sk-your-virtual-key" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude","messages":[{"role":"user","content":"ping"}]}'

為什麼這對 agent 很棒

一個 AI agent 或多 agent 艦隊通常會做大量模型呼叫。在 LiteLLM 代理之後，您可以：用各自的虛擬金鑰和預算限制每個 agent，自動從前沿模型回退到更便宜的模型，把本機 Ollama 與雲端 API 混用，並閱讀每個 agent 確切花費的統一記錄。切換模型無需觸碰 agent 程式碼——只改設定。

為什麼選擇 EQVPS 做 LiteLLM 閘道

• 專用 IPv4 每月 $8 起，網域 + HTTPS 友好，所有埠，自助反向 DNS。
• 歐盟地點——乾淨路由、真正的資料保護法；您的金鑰和記錄留在歐盟。
• 免 KYC、加密貨幣付款。 用電子郵件註冊、用 USDC/USDT 付款。
• 約 60 秒拿到 root。 乾淨的 Ubuntu/Debian 映像；docker compose up，閘道即上線。

面向 AI agent 的 VPS → · 在 VPS 上自託管 Ollama →

Open WebUI 專用 VPS：屬於您的大模型私密聊天介面 →