VPS'te LiteLLM proxy'sini kendiniz barındırın: her model için tek bir OpenAI uyumlu uç nokta

Birden fazla uygulama çalıştırıyorsanız — veya birkaç modele dallanan bir ajan — eninde sonunda aynı duvara toslarsınız: her sağlayıcının kendi SDK'si, kendi anahtarları, kendi hız limitleri var ve harcamayı görecek tek bir yer yok. LiteLLM, her şeyin önüne OpenAI uyumlu bir uç nokta koyarak bunu çözer. Kodunuz bir model adıyla bir URL çağırır; LiteLLM bunu OpenAI, Anthropic, Groq, Together, Mistral, yerel Ollama'ya — yapılandırdığınız neyse ona — yönlendirir ve size bütçeler, yedekler ve her çağrının tek bir logunu verir.

Bunu bir VPS'te kendiniz barındırmak, sağlayıcı anahtarlarınızın, komutlarınızın ve harcama verilerinizin sizin kontrol ettiğiniz bir makinede yaşadığı, kripto ile KYC olmadan ödendiği anlamına gelir.

Bir LiteLLM proxy'si neye ihtiyaç duyar

• Az işlem gücü — bu bir ağ geçidi. Ağır iş sağlayıcılarda olur; LiteLLM yalnızca yönlendirir. Small ($8/ay — 4 vCPU, 4 GB RAM) proxy'yi artı sanal anahtarlar ve harcama takibi için bir Postgres'i rahatça çalıştırır.
• Ayrılmış bir IP, bir domain ve HTTPS. Uygulamalar ve ajanlar gelen bağlantı kurar, bu yüzden ayrılmış IPv4 planı, domain ve TLS istersiniz. NAT planları gelen web trafiğini kabul etmez.
• Sağlayıcılara giden. Makinenin model API'lerine ulaşmak için normal giden HTTPS'e ihtiyacı var — her planda var.

Docker kurulumu (Ubuntu 24.04)

apt update && apt install -y docker.io docker-compose-v2
systemctl enable --now docker

mkdir -p /opt/litellm && cd /opt/litellm
cat > config.yaml <<'EOF'
model_list:
  - model_name: gpt-4o
    litellm_params:
      model: openai/gpt-4o
      api_key: os.environ/OPENAI_API_KEY
  - model_name: claude
    litellm_params:
      model: anthropic/claude-sonnet-4-5
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: local-llama
    litellm_params:
      model: ollama/llama3.1
      api_base: http://host.docker.internal:11434
general_settings:
  master_key: sk-CHANGE-ME
EOF

cat > docker-compose.yml <<'EOF'
services:
  litellm:
    image: ghcr.io/berriai/litellm:main-latest
    restart: always
    ports: [ "127.0.0.1:4000:4000" ]
    environment:
      OPENAI_API_KEY: sk-...
      ANTHROPIC_API_KEY: sk-ant-...
      DATABASE_URL: postgresql://litellm:change_me@postgres:5432/litellm
    volumes: [ ./config.yaml:/app/config.yaml ]
    command: [ "--config", "/app/config.yaml" ]
  postgres:
    image: postgres:16
    restart: always
    environment:
      POSTGRES_USER: litellm
      POSTGRES_PASSWORD: change_me
      POSTGRES_DB: litellm
    volumes: [ ./pgdata:/var/lib/postgresql/data ]
EOF

docker compose up -d

Domain'inizde otomatik HTTPS için önüne Caddy veya Nginx koyun, ardından herhangi bir OpenAI SDK'si çalışır:

curl https://llm.yourdomain.com/v1/chat/completions \
  -H "Authorization: Bearer sk-your-virtual-key" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude","messages":[{"role":"user","content":"ping"}]}'

Bu neden ajanlar için harika

Bir YZ ajanı veya bir çoklu ajan filosu genellikle çok sayıda model çağrısı yapar. Bir LiteLLM proxy'sinin ardında şunları yapabilirsiniz: her ajanı kendi sanal anahtarı ve bütçesiyle sınırlayın, bir sınır modelinden daha ucuz bir modele otomatik geri düşün, yerel bir Ollama'yı bulut API'leriyle karıştırın ve her ajanın tam olarak ne harcadığının tek bir logunu okuyun. Ajan kodunu değiştirmeden model değiştirin — sadece yapılandırmayı değiştirin.

Neden LiteLLM ağ geçidi için EQVPS

• Aylık $8'dan ayrılmış IPv4, domain + HTTPS dostu, tüm portlar, self servis rDNS.
• AB konumları (Almanya, Finlandiya) — temiz rotalar, gerçek veri koruma yasası; anahtarlarınız ve loglarınız AB'de kalır.
• KYC yok, kripto ile ödeme. Kayıt için e-posta, ödeme için USDC/USDT.
• ~60 saniyede root. Temiz Ubuntu/Debian imajları; docker compose up ve ağ geçidiniz yayında.

YZ ajanları için VPS → · VPS'te Ollama'yı kendiniz barındırın →