โฮสต์ LiteLLM proxy เองบน VPS: endpoint ที่เข้ากับ OpenAI เดียวสำหรับทุกโมเดล

หากคุณรันมากกว่าหนึ่งแอป — หรือ agent หนึ่งที่ fan out ไปหลายโมเดล — คุณในที่สุดชนกำแพงเดียวกัน: ผู้ให้บริการแต่ละรายมี SDK ของตัวเอง คีย์ของตัวเอง การจำกัดอัตราของตัวเอง และไม่มีที่เดียวเห็นการใช้จ่าย LiteLLM แก้นั่นโดยวาง endpoint ที่เข้ากับ OpenAI เดียวข้างหน้าทุกอย่าง โค้ดของคุณเรียก URL เดียวพร้อมชื่อโมเดล LiteLLM กำหนดเส้นทางมันไป OpenAI, Anthropic, Groq, Together, Mistral, Ollama ในเครื่อง — อะไรที่คุณกำหนดค่า — และให้คุณงบ fallback และ log เดียวของทุกการเรียก

การโฮสต์มันเองบน VPS หมายถึงคีย์ผู้ให้บริการ พรอมต์ และข้อมูลการใช้จ่ายของคุณอยู่บนเครื่องที่คุณควบคุม จ่ายด้วยคริปโตโดยไม่ KYC

LiteLLM proxy ต้องการอะไร

• ไม่มากการประมวลผล — มันคือ gateway งานหนักเกิดที่ผู้ให้บริการ LiteLLM แค่กำหนดเส้นทาง Small ($8/เดือน — 4 vCPU, 4 GB RAM) รัน proxy บวก Postgres สำหรับคีย์เสมือนและการติดตามการใช้จ่ายได้สบาย
• dedicated IP โดเมน และ HTTPS แอปและ agent ของคุณเชื่อมต่อขาเข้า ดังนั้นคุณต้องการแพ็กเกจ dedicated-IPv4 โดเมน และ TLS แพ็กเกจ NAT ไม่รับทราฟฟิกเว็บขาเข้า
• ขาออกไปผู้ให้บริการ เครื่องต้องการ HTTPS ขาออกปกติเพื่อเข้าถึง API โมเดล — ทุกแพ็กเกจมีนั่น

การตั้งค่า Docker (Ubuntu 24.04)

# แพ็กเกจ dedicated-IP, root shell
apt update && apt install -y docker.io docker-compose-v2
systemctl enable --now docker

mkdir -p /opt/litellm && cd /opt/litellm
cat > config.yaml <<'EOF'
model_list:
  - model_name: gpt-4o
    litellm_params:
      model: openai/gpt-4o
      api_key: os.environ/OPENAI_API_KEY
  - model_name: claude
    litellm_params:
      model: anthropic/claude-sonnet-4-5
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: local-llama
    litellm_params:
      model: ollama/llama3.1
      api_base: http://host.docker.internal:11434
general_settings:
  master_key: sk-CHANGE-ME          # คีย์ admin; ออกคีย์เสมือนต่อแอปแทน
EOF

cat > docker-compose.yml <<'EOF'
services:
  litellm:
    image: ghcr.io/berriai/litellm:main-latest
    restart: always
    ports: [ "127.0.0.1:4000:4000" ]
    environment:
      OPENAI_API_KEY: sk-...            # คีย์ผู้ให้บริการของคุณ
      ANTHROPIC_API_KEY: sk-ant-...
      DATABASE_URL: postgresql://litellm:change_me@postgres:5432/litellm
    volumes: [ ./config.yaml:/app/config.yaml ]
    command: [ "--config", "/app/config.yaml" ]
  postgres:
    image: postgres:16
    restart: always
    environment:
      POSTGRES_USER: litellm
      POSTGRES_PASSWORD: change_me
      POSTGRES_DB: litellm
    volumes: [ ./pgdata:/var/lib/postgresql/data ]
EOF

docker compose up -d

วาง Caddy หรือ Nginx ไว้ข้างหน้าสำหรับ HTTPS อัตโนมัติบนโดเมนของคุณ จากนั้น OpenAI SDK ใดก็ทำงาน:

curl https://llm.yourdomain.com/v1/chat/completions \
  -H "Authorization: Bearer sk-your-virtual-key" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude","messages":[{"role":"user","content":"ping"}]}'

ทำไมนี่เยี่ยมสำหรับ agent

AI agentหรือกองทัพหลาย agentมักทำการเรียกโมเดลจำนวนมาก หลัง LiteLLM proxy คุณ: cap แต่ละ agent ด้วยคีย์เสมือนและงบของตัวเอง fall back จากโมเดล frontier ไปตัวถูกกว่าอัตโนมัติ ผสม Ollama ในเครื่องกับ API คลาวด์ และอ่าน log เดียวของสิ่งที่แต่ละ agent ใช้จ่ายเป๊ะ สลับโมเดลโดยไม่แตะโค้ด agent — แค่เปลี่ยนคอนฟิก

ทำไม EQVPS สำหรับ LiteLLM gateway

• IPv4 แบบเฉพาะจาก $8/เดือน เป็นมิตรกับโดเมน + HTTPS ทุกพอร์ต rDNS บริการตนเอง
• ตำแหน่ง EU (เยอรมนี ฟินแลนด์) — เส้นทางสะอาด กฎหมายคุ้มครองข้อมูลจริง คีย์และ log ของคุณอยู่ใน EU
• ไม่ KYC จ่ายด้วยคริปโต อีเมลเพื่อสมัคร USDC/USDT เพื่อจ่าย
• root ใน ~60 วินาที อิมเมจ Ubuntu/Debian สะอาด docker compose up และ gateway ของคุณออนไลน์

VPS สำหรับ AI agent → · โฮสต์ Ollama เองบน VPS →