यदि आप एक से अधिक ऐप चलाते हैं — या एक एजेंट जो कई मॉडलों में बँटता है — तो आप अंततः उसी दीवार से टकराते हैं: हर प्रदाता का अपना SDK, अपनी कीज़, अपनी रेट-लिमिट है, और खर्च देखने की कोई एक जगह नहीं। LiteLLM हर चीज़ के सामने एक OpenAI-संगत एंडपॉइंट रखकर इसे हल करता है। आपका कोड एक मॉडल नाम के साथ एक URL कॉल करता है; LiteLLM इसे OpenAI, Anthropic, Groq, Together, Mistral, स्थानीय Ollama — जो आपने कॉन्फ़िगर किया — तक रूट करता है, और आपको बजट, फ़ॉलबैक और हर कॉल का एक लॉग देता है।
इसे VPS पर सेल्फ-होस्ट करने का मतलब है कि आपकी प्रदाता कीज़, प्रॉम्प्ट और खर्च डेटा उस मशीन पर रहते हैं जिसे आप नियंत्रित करते हैं, क्रिप्टो से बिना KYC भुगतान के साथ।
LiteLLM प्रॉक्सी को क्या चाहिए
- ज़्यादा गणना नहीं — यह एक गेटवे है। भारी काम प्रदाताओं पर होता है; LiteLLM केवल रूट करता है। Small ($8/माह — 4 vCPU, 4 GB RAM) प्रॉक्सी और वर्चुअल कीज़ व खर्च ट्रैकिंग के लिए एक Postgres को आराम से चलाता है।
- एक डेडिकेटेड IP, एक डोमेन और HTTPS। ऐप और एजेंट इनबाउंड कनेक्ट करते हैं, इसलिए आपको डेडिकेटेड IPv4 प्लान, डोमेन और TLS चाहिए। NAT प्लान इनबाउंड वेब ट्रैफ़िक नहीं लेते।
- प्रदाताओं तक आउटबाउंड। मशीन को मॉडल API तक पहुँचने के लिए सामान्य आउटबाउंड HTTPS चाहिए — हर प्लान में है।
Docker सेटअप (Ubuntu 24.04)
apt update && apt install -y docker.io docker-compose-v2
systemctl enable --now docker
mkdir -p /opt/litellm && cd /opt/litellm
cat > config.yaml <<'EOF'
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: os.environ/OPENAI_API_KEY
- model_name: claude
litellm_params:
model: anthropic/claude-sonnet-4-5
api_key: os.environ/ANTHROPIC_API_KEY
- model_name: local-llama
litellm_params:
model: ollama/llama3.1
api_base: http://host.docker.internal:11434
general_settings:
master_key: sk-CHANGE-ME
EOF
cat > docker-compose.yml <<'EOF'
services:
litellm:
image: ghcr.io/berriai/litellm:main-latest
restart: always
ports: [ "127.0.0.1:4000:4000" ]
environment:
OPENAI_API_KEY: sk-...
ANTHROPIC_API_KEY: sk-ant-...
DATABASE_URL: postgresql://litellm:change_me@postgres:5432/litellm
volumes: [ ./config.yaml:/app/config.yaml ]
command: [ "--config", "/app/config.yaml" ]
postgres:
image: postgres:16
restart: always
environment:
POSTGRES_USER: litellm
POSTGRES_PASSWORD: change_me
POSTGRES_DB: litellm
volumes: [ ./pgdata:/var/lib/postgresql/data ]
EOF
docker compose up -d
अपने डोमेन पर स्वचालित HTTPS के लिए सामने Caddy या Nginx रखें, फिर कोई भी OpenAI SDK बस काम करता है:
curl https://llm.yourdomain.com/v1/chat/completions \
-H "Authorization: Bearer sk-your-virtual-key" \
-H "Content-Type: application/json" \
-d '{"model":"claude","messages":[{"role":"user","content":"ping"}]}'
यह एजेंट के लिए क्यों बढ़िया है
एक AI एजेंट या मल्टी-एजेंट फ़्लीट आमतौर पर बहुत सारे मॉडल कॉल करता है। LiteLLM प्रॉक्सी के पीछे आप कर सकते हैं: हर एजेंट को अपनी वर्चुअल की और बजट से सीमित करें, फ्रंटियर मॉडल से सस्ते मॉडल पर स्वतः फ़ॉलबैक करें, स्थानीय Ollama को क्लाउड API के साथ मिलाएँ, और हर एजेंट ने ठीक कितना खर्च किया इसका एक लॉग पढ़ें। एजेंट कोड छुए बिना मॉडल बदलें — बस कॉन्फ़िग बदलें।
LiteLLM गेटवे के लिए EQVPS क्यों
- $8/माह से डेडिकेटेड IPv4, डोमेन + HTTPS अनुकूल, सभी पोर्ट, सेल्फ-सर्विस रिवर्स DNS।
- EU स्थान (जर्मनी, फ़िनलैंड) — साफ़ रूट, असली डेटा-संरक्षण कानून; आपकी कीज़ और लॉग EU में रहते हैं।
- बिना KYC, क्रिप्टो से भुगतान। रजिस्टर के लिए ईमेल, भुगतान के लिए USDC/USDT।
- ~60 सेकंड में root। साफ़ Ubuntu/Debian इमेज;
docker compose upऔर आपका गेटवे लाइव।
टिप्पणियाँ
अभी तक कोई टिप्पणी नहीं। पहले बनें।