VPS에서 LiteLLM 프록시 셀프호스팅: 모든 모델을 위한 하나의 OpenAI 호환 엔드포인트

앱을 하나 이상 — 또는 여러 모델로 분기하는 하나의 에이전트를 — 운영하면 결국 같은 벽에 부딪힙니다: 제공자마다 자체 SDK, 자체 키, 자체 속도 제한이 있고 지출을 한눈에 볼 단일 장소가 없습니다. LiteLLM은 모든 것 앞에 OpenAI 호환 엔드포인트를 두어 이를 해결합니다. 코드는 모델 이름으로 하나의 URL을 호출하고, LiteLLM이 이를 OpenAI, Anthropic, Groq, Together, Mistral, 로컬 Ollama — 당신이 구성한 무엇이든 — 로 라우팅하며, 예산·폴백·모든 호출의 단일 로그를 제공합니다.

VPS에 셀프호스팅한다는 것은 제공자 키, 프롬프트, 지출 데이터가 당신이 제어하는 머신에 있으며 암호화폐로 KYC 없이 결제된다는 뜻입니다.

LiteLLM 프록시에 필요한 것

• 연산은 거의 불필요 — 게이트웨이입니다. 무거운 작업은 제공자에서 일어나고 LiteLLM은 라우팅만 합니다. **Small(월 $8 — 4 vCPU, 4 GB RAM)**이 프록시와 가상 키·지출 추적용 Postgres를 편안히 돌립니다.
• 전용 IP, 도메인, HTTPS. 앱과 에이전트가 인바운드로 연결하므로 전용 IPv4 요금제, 도메인, TLS가 필요합니다. NAT 요금제는 인바운드 웹 트래픽을 받지 않습니다.
• 제공자로의 아웃바운드. 머신은 모델 API에 도달할 일반 아웃바운드 HTTPS가 필요합니다 — 모든 요금제에 있습니다.

Docker 설정 (Ubuntu 24.04)

apt update && apt install -y docker.io docker-compose-v2
systemctl enable --now docker

mkdir -p /opt/litellm && cd /opt/litellm
cat > config.yaml <<'EOF'
model_list:
  - model_name: gpt-4o
    litellm_params:
      model: openai/gpt-4o
      api_key: os.environ/OPENAI_API_KEY
  - model_name: claude
    litellm_params:
      model: anthropic/claude-sonnet-4-5
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: local-llama
    litellm_params:
      model: ollama/llama3.1
      api_base: http://host.docker.internal:11434
general_settings:
  master_key: sk-CHANGE-ME
EOF

cat > docker-compose.yml <<'EOF'
services:
  litellm:
    image: ghcr.io/berriai/litellm:main-latest
    restart: always
    ports: [ "127.0.0.1:4000:4000" ]
    environment:
      OPENAI_API_KEY: sk-...
      ANTHROPIC_API_KEY: sk-ant-...
      DATABASE_URL: postgresql://litellm:change_me@postgres:5432/litellm
    volumes: [ ./config.yaml:/app/config.yaml ]
    command: [ "--config", "/app/config.yaml" ]
  postgres:
    image: postgres:16
    restart: always
    environment:
      POSTGRES_USER: litellm
      POSTGRES_PASSWORD: change_me
      POSTGRES_DB: litellm
    volumes: [ ./pgdata:/var/lib/postgresql/data ]
EOF

docker compose up -d

도메인의 자동 HTTPS를 위해 앞에 Caddy 또는 Nginx를 두면 어떤 OpenAI SDK도 그대로 작동합니다:

curl https://llm.yourdomain.com/v1/chat/completions \
  -H "Authorization: Bearer sk-your-virtual-key" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude","messages":[{"role":"user","content":"ping"}]}'

왜 이것이 에이전트에게 훌륭한가

AI 에이전트나 멀티에이전트 함대는 보통 많은 모델 호출을 합니다. LiteLLM 프록시 뒤에서 다음을 할 수 있습니다: 각 에이전트를 자체 가상 키와 예산으로 제한하고, 프런티어 모델에서 더 저렴한 모델로 자동 폴백하고, 로컬 Ollama를 클라우드 API와 섞고, 각 에이전트가 정확히 얼마를 썼는지 단일 로그로 읽습니다. 에이전트 코드를 건드리지 않고 모델을 바꾸세요 — 구성만 바꾸면 됩니다.

왜 LiteLLM 게이트웨이에 EQVPS인가

• 월 $8부터 전용 IPv4, 도메인 + HTTPS 친화, 모든 포트, 셀프서비스 역방향 DNS.
• EU 위치(독일, 핀란드) — 깨끗한 경로, 실질적인 데이터 보호법; 키와 로그가 EU에 남습니다.
• KYC 없음, 암호화폐 결제. 가입은 이메일, 결제는 USDC/USDT.
• 약 60초 만에 root. 깨끗한 Ubuntu/Debian 이미지; docker compose up으로 게이트웨이 가동.

AI 에이전트용 VPS → · VPS에서 Ollama 셀프호스팅 →