在 VPS 上自托管 LiteLLM 代理：一个 OpenAI 兼容端点接入所有模型

如果你运行不止一个应用——或一个分发到多个模型的 agent——你迟早会撞上同一堵墙：每个提供商都有自己的 SDK、密钥、限速，且没有统一的地方查看花费。LiteLLM 通过在一切之前放置一个 OpenAI 兼容 端点解决了这个问题。你的代码用一个模型名调用一个 URL；LiteLLM 将其路由到 OpenAI、Anthropic、Groq、Together、Mistral、本地 Ollama——你所配置的任何一个——并提供预算、回退，以及每次调用的统一日志。

在 VPS 上自托管意味着你的提供商密钥、提示词和花费数据都存在你掌控的机器上，用加密货币付款、无需 KYC。

LiteLLM 代理需要什么

• 算力不多——它是网关。 繁重工作发生在提供商处；LiteLLM 只做路由。Small（每月 $8——4 vCPU、4 GB RAM） 足以运行代理外加用于虚拟密钥与花费追踪的 Postgres。
• 一个专用 IP、一个域名和 HTTPS。 应用和 agent 入站连接，因此你需要专用 IPv4 套餐、域名和 TLS。NAT 套餐不接受入站网页流量。
• 对提供商的出站。 机器需要普通的出站 HTTPS 以访问模型 API——每个套餐都有。

Docker 设置（Ubuntu 24.04）

# 专用 IP 套餐，root shell
apt update && apt install -y docker.io docker-compose-v2
systemctl enable --now docker

mkdir -p /opt/litellm && cd /opt/litellm
cat > config.yaml <<'EOF'
model_list:
  - model_name: gpt-4o
    litellm_params:
      model: openai/gpt-4o
      api_key: os.environ/OPENAI_API_KEY
  - model_name: claude
    litellm_params:
      model: anthropic/claude-sonnet-4-5
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: local-llama
    litellm_params:
      model: ollama/llama3.1
      api_base: http://host.docker.internal:11434
general_settings:
  master_key: sk-CHANGE-ME          # 管理密钥；请改为按应用签发虚拟密钥
EOF

cat > docker-compose.yml <<'EOF'
services:
  litellm:
    image: ghcr.io/berriai/litellm:main-latest
    restart: always
    ports: [ "127.0.0.1:4000:4000" ]
    environment:
      OPENAI_API_KEY: sk-...            # 你的提供商密钥
      ANTHROPIC_API_KEY: sk-ant-...
      DATABASE_URL: postgresql://litellm:change_me@postgres:5432/litellm
    volumes: [ ./config.yaml:/app/config.yaml ]
    command: [ "--config", "/app/config.yaml" ]
  postgres:
    image: postgres:16
    restart: always
    environment:
      POSTGRES_USER: litellm
      POSTGRES_PASSWORD: change_me
      POSTGRES_DB: litellm
    volumes: [ ./pgdata:/var/lib/postgresql/data ]
EOF

docker compose up -d

在前面放上 Caddy 或 Nginx 为你的域名提供自动 HTTPS，然后任何 OpenAI SDK 都能直接工作：

curl https://llm.yourdomain.com/v1/chat/completions \
  -H "Authorization: Bearer sk-your-virtual-key" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude","messages":[{"role":"user","content":"ping"}]}'

为什么这对 agent 很棒

一个 AI agent 或多 agent 舰队通常会做大量模型调用。在 LiteLLM 代理之后，你可以：用各自的虚拟密钥和预算限制每个 agent，自动从前沿模型回退到更便宜的模型，把本地 Ollama 与云端 API 混用，并阅读每个 agent 确切花费的统一日志。切换模型无需触碰 agent 代码——只改配置。

为什么选择 EQVPS 做 LiteLLM 网关

• 专用 IPv4 每月 $8 起，域名 + HTTPS 友好，所有端口，自助反向 DNS。
• 欧盟地点（德国、芬兰）——干净路由、真正的数据保护法；你的密钥和日志留在欧盟。
• 无需 KYC、加密货币付款。 用邮箱注册、用 USDC/USDT 付款。
• 约 60 秒拿到 root。 干净的 Ubuntu/Debian 镜像；docker compose up，网关即上线。

面向 AI agent 的 VPS → · 在 VPS 上自托管 Ollama →