複数のアプリ——または複数モデルへ分岐する一つのエージェント——を動かすなら、いずれ同じ壁に突き当たります:各プロバイダーには独自の SDK、独自の鍵、独自のレート制限があり、支出を一望できる場所がありません。LiteLLM はすべての前に OpenAI 互換 エンドポイントを置くことでこれを解決します。あなたのコードはモデル名で一つの URL を呼び、LiteLLM がそれを OpenAI、Anthropic、Groq、Together、Mistral、ローカルの Ollama——設定したものへ——ルーティングし、予算、フォールバック、すべての呼び出しの単一のログを提供します。
VPS でセルフホストするということは、プロバイダーの鍵、プロンプト、支出データが あなた の管理するマシンに存在し、暗号通貨で KYC なしに支払われるということです。
LiteLLM プロキシに必要なもの
- 計算はほとんど不要——ゲートウェイです。 重い作業はプロバイダーで起き、LiteLLM はルーティングのみ。Small(月額 $8——4 vCPU、4 GB RAM) でプロキシと仮想鍵・支出追跡用の Postgres が快適に動きます。
- 専用 IP、ドメイン、HTTPS。 アプリとエージェントは受信で接続するため、専用 IPv4 プラン、ドメイン、TLS が欲しいところ。NAT プランは受信ウェブトラフィックを受け付けません。
- プロバイダーへの送信。 マシンはモデル API に到達するための通常の送信 HTTPS が必要——どのプランにもあります。
Docker セットアップ(Ubuntu 24.04)
apt update && apt install -y docker.io docker-compose-v2
systemctl enable --now docker
mkdir -p /opt/litellm && cd /opt/litellm
cat > config.yaml <<'EOF'
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: os.environ/OPENAI_API_KEY
- model_name: claude
litellm_params:
model: anthropic/claude-sonnet-4-5
api_key: os.environ/ANTHROPIC_API_KEY
- model_name: local-llama
litellm_params:
model: ollama/llama3.1
api_base: http://host.docker.internal:11434
general_settings:
master_key: sk-CHANGE-ME
EOF
cat > docker-compose.yml <<'EOF'
services:
litellm:
image: ghcr.io/berriai/litellm:main-latest
restart: always
ports: [ "127.0.0.1:4000:4000" ]
environment:
OPENAI_API_KEY: sk-...
ANTHROPIC_API_KEY: sk-ant-...
DATABASE_URL: postgresql://litellm:change_me@postgres:5432/litellm
volumes: [ ./config.yaml:/app/config.yaml ]
command: [ "--config", "/app/config.yaml" ]
postgres:
image: postgres:16
restart: always
environment:
POSTGRES_USER: litellm
POSTGRES_PASSWORD: change_me
POSTGRES_DB: litellm
volumes: [ ./pgdata:/var/lib/postgresql/data ]
EOF
docker compose up -d
ドメインの自動 HTTPS のため前段に Caddy か Nginx を置けば、あらゆる OpenAI SDK がそのまま動きます:
curl https://llm.yourdomain.com/v1/chat/completions \
-H "Authorization: Bearer sk-your-virtual-key" \
-H "Content-Type: application/json" \
-d '{"model":"claude","messages":[{"role":"user","content":"ping"}]}'
なぜこれがエージェントに最適なのか
AI エージェントやマルチエージェント運用は通常、多くのモデル呼び出しを行います。LiteLLM プロキシの背後で、次のことができます:各エージェントを固有の仮想鍵と予算で制限し、フロンティアモデルから安価なモデルへ自動でフォールバックし、ローカルの Ollama をクラウド API と混在させ、各エージェントが正確に何を消費したかの単一のログを読む。エージェントのコードに触れずにモデルを切り替え——設定を変えるだけ。
なぜ LiteLLM ゲートウェイに EQVPS なのか
- 専用 IPv4 が月額 $8 から、ドメイン + HTTPS に優しく、全ポート、セルフサービスの逆引き DNS。
- EU ロケーション(ドイツ、フィンランド)——クリーンなルート、本物のデータ保護法;鍵とログは EU に留まります。
- KYC 不要、暗号通貨で支払い。 登録はメール、支払いは USDC/USDT。
- 約 60 秒で root。 クリーンな Ubuntu/Debian イメージ;
docker compose upでゲートウェイが稼働。
コメント
まだコメントはありません。最初になりましょう。