আপনি যদি একাধিক অ্যাপ চালান — বা একটি এজেন্ট যা কয়েকটি মডেলে ছড়ায় — শেষমেশ একই দেয়ালে ধাক্কা খান: প্রতিটি প্রদানকারীর নিজস্ব SDK, নিজস্ব কী, নিজস্ব রেট-লিমিট আছে, এবং খরচ দেখার কোনো একক জায়গা নেই। LiteLLM সবকিছুর সামনে একটি OpenAI-সামঞ্জস্যপূর্ণ এন্ডপয়েন্ট রেখে এটি সমাধান করে। আপনার কোড একটি মডেল নাম দিয়ে একটি URL কল করে; LiteLLM এটি OpenAI, Anthropic, Groq, Together, Mistral, লোকাল Ollama — যা কনফিগার করেন — সেখানে রুট করে, এবং আপনাকে বাজেট, ফলব্যাক ও প্রতিটি কলের একটি লগ দেয়।
VPS-এ সেল্ফ-হোস্ট করার মানে আপনার প্রদানকারী কী, প্রম্পট ও খরচ ডেটা এমন মেশিনে থাকে যা আপনি নিয়ন্ত্রণ করেন, ক্রিপ্টোতে KYC ছাড়াই পরিশোধিত।
LiteLLM প্রক্সির কী দরকার
- বেশি গণনা নয় — এটি একটি গেটওয়ে। ভারী কাজ প্রদানকারীদের কাছে হয়; LiteLLM কেবল রুট করে। Small ($8/মাস — 4 vCPU, 4 GB RAM) প্রক্সি এবং ভার্চুয়াল কী ও খরচ ট্র্যাকিংয়ের জন্য একটি Postgres আরামে চালায়।
- একটি ডেডিকেটেড IP, একটি ডোমেন ও HTTPS। অ্যাপ ও এজেন্ট ইনবাউন্ড কানেক্ট করে, তাই আপনার একটি ডেডিকেটেড IPv4 প্ল্যান, ডোমেন ও TLS দরকার। NAT প্ল্যান ইনবাউন্ড ওয়েব ট্রাফিক নেয় না।
- প্রদানকারীদের কাছে আউটবাউন্ড। মডেল API-তে পৌঁছাতে মেশিনের সাধারণ আউটবাউন্ড HTTPS দরকার — প্রতিটি প্ল্যানে আছে।
Docker সেটআপ (Ubuntu 24.04)
apt update && apt install -y docker.io docker-compose-v2
systemctl enable --now docker
mkdir -p /opt/litellm && cd /opt/litellm
cat > config.yaml <<'EOF'
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: os.environ/OPENAI_API_KEY
- model_name: claude
litellm_params:
model: anthropic/claude-sonnet-4-5
api_key: os.environ/ANTHROPIC_API_KEY
- model_name: local-llama
litellm_params:
model: ollama/llama3.1
api_base: http://host.docker.internal:11434
general_settings:
master_key: sk-CHANGE-ME
EOF
cat > docker-compose.yml <<'EOF'
services:
litellm:
image: ghcr.io/berriai/litellm:main-latest
restart: always
ports: [ "127.0.0.1:4000:4000" ]
environment:
OPENAI_API_KEY: sk-...
ANTHROPIC_API_KEY: sk-ant-...
DATABASE_URL: postgresql://litellm:change_me@postgres:5432/litellm
volumes: [ ./config.yaml:/app/config.yaml ]
command: [ "--config", "/app/config.yaml" ]
postgres:
image: postgres:16
restart: always
environment:
POSTGRES_USER: litellm
POSTGRES_PASSWORD: change_me
POSTGRES_DB: litellm
volumes: [ ./pgdata:/var/lib/postgresql/data ]
EOF
docker compose up -d
আপনার ডোমেনে স্বয়ংক্রিয় HTTPS-এর জন্য সামনে Caddy বা Nginx রাখুন, তারপর যেকোনো OpenAI SDK কাজ করে:
curl https://llm.yourdomain.com/v1/chat/completions \
-H "Authorization: Bearer sk-your-virtual-key" \
-H "Content-Type: application/json" \
-d '{"model":"claude","messages":[{"role":"user","content":"ping"}]}'
এটি এজেন্টের জন্য কেন দারুণ
একটি AI এজেন্ট বা মাল্টি-এজেন্ট ফ্লিট সাধারণত অনেক মডেল কল করে। LiteLLM প্রক্সির পিছনে আপনি পারেন: প্রতিটি এজেন্টকে নিজস্ব ভার্চুয়াল কী ও বাজেট দিয়ে সীমিত করা, ফ্রন্টিয়ার মডেল থেকে সস্তা মডেলে স্বয়ংক্রিয়ভাবে ফলব্যাক করা, লোকাল Ollama-কে ক্লাউড API-র সাথে মেশানো, এবং প্রতিটি এজেন্ট ঠিক কত খরচ করল তার একটি লগ পড়া। এজেন্ট কোড না ছুঁয়ে মডেল বদলান — শুধু কনফিগ বদলান।
LiteLLM গেটওয়ের জন্য কেন EQVPS
- $8/মাস থেকে ডেডিকেটেড IPv4, ডোমেন + HTTPS বান্ধব, সব পোর্ট, সেল্ফ-সার্ভিস reverse DNS।
- EU অবস্থান (জার্মানি, ফিনল্যান্ড) — পরিষ্কার রুট, আসল ডেটা-সুরক্ষা আইন; আপনার কী ও লগ EU-তে থাকে।
- KYC-বিহীন, ক্রিপ্টোতে পরিশোধ। রেজিস্টারের জন্য ইমেল, পরিশোধের জন্য USDC/USDT।
- ~60 সেকেন্ডে root। পরিষ্কার Ubuntu/Debian ইমেজ;
docker compose upএবং আপনার গেটওয়ে লাইভ।
AI এজেন্টের জন্য VPS → · VPS-এ Ollama সেল্ফ-হোস্ট করুন →
Open WebUI-এর জন্য VPS: LLM-এর জন্য ব্যক্তিগত চ্যাট ইন্টারফেস →
মন্তব্য
এখনো কোনো মন্তব্য নেই। প্রথম হোন।