VPS-এ LiteLLM প্রক্সি সেল্ফ-হোস্ট করুন: সব মডেলের জন্য একটি OpenAI-সামঞ্জস্যপূর্ণ এন্ডপয়েন্ট

আপনি যদি একাধিক অ্যাপ চালান — বা একটি এজেন্ট যা কয়েকটি মডেলে ছড়ায় — শেষমেশ একই দেয়ালে ধাক্কা খান: প্রতিটি প্রদানকারীর নিজস্ব SDK, নিজস্ব কী, নিজস্ব রেট-লিমিট আছে, এবং খরচ দেখার কোনো একক জায়গা নেই। LiteLLM সবকিছুর সামনে একটি OpenAI-সামঞ্জস্যপূর্ণ এন্ডপয়েন্ট রেখে এটি সমাধান করে। আপনার কোড একটি মডেল নাম দিয়ে একটি URL কল করে; LiteLLM এটি OpenAI, Anthropic, Groq, Together, Mistral, লোকাল Ollama — যা কনফিগার করেন — সেখানে রুট করে, এবং আপনাকে বাজেট, ফলব্যাক ও প্রতিটি কলের একটি লগ দেয়।

VPS-এ সেল্ফ-হোস্ট করার মানে আপনার প্রদানকারী কী, প্রম্পট ও খরচ ডেটা এমন মেশিনে থাকে যা আপনি নিয়ন্ত্রণ করেন, ক্রিপ্টোতে KYC ছাড়াই পরিশোধিত।

LiteLLM প্রক্সির কী দরকার

• বেশি গণনা নয় — এটি একটি গেটওয়ে। ভারী কাজ প্রদানকারীদের কাছে হয়; LiteLLM কেবল রুট করে। Small ($8/মাস — 4 vCPU, 4 GB RAM) প্রক্সি এবং ভার্চুয়াল কী ও খরচ ট্র্যাকিংয়ের জন্য একটি Postgres আরামে চালায়।
• একটি ডেডিকেটেড IP, একটি ডোমেন ও HTTPS। অ্যাপ ও এজেন্ট ইনবাউন্ড কানেক্ট করে, তাই আপনার একটি ডেডিকেটেড IPv4 প্ল্যান, ডোমেন ও TLS দরকার। NAT প্ল্যান ইনবাউন্ড ওয়েব ট্রাফিক নেয় না।
• প্রদানকারীদের কাছে আউটবাউন্ড। মডেল API-তে পৌঁছাতে মেশিনের সাধারণ আউটবাউন্ড HTTPS দরকার — প্রতিটি প্ল্যানে আছে।

Docker সেটআপ (Ubuntu 24.04)

apt update && apt install -y docker.io docker-compose-v2
systemctl enable --now docker

mkdir -p /opt/litellm && cd /opt/litellm
cat > config.yaml <<'EOF'
model_list:
  - model_name: gpt-4o
    litellm_params:
      model: openai/gpt-4o
      api_key: os.environ/OPENAI_API_KEY
  - model_name: claude
    litellm_params:
      model: anthropic/claude-sonnet-4-5
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: local-llama
    litellm_params:
      model: ollama/llama3.1
      api_base: http://host.docker.internal:11434
general_settings:
  master_key: sk-CHANGE-ME
EOF

cat > docker-compose.yml <<'EOF'
services:
  litellm:
    image: ghcr.io/berriai/litellm:main-latest
    restart: always
    ports: [ "127.0.0.1:4000:4000" ]
    environment:
      OPENAI_API_KEY: sk-...
      ANTHROPIC_API_KEY: sk-ant-...
      DATABASE_URL: postgresql://litellm:change_me@postgres:5432/litellm
    volumes: [ ./config.yaml:/app/config.yaml ]
    command: [ "--config", "/app/config.yaml" ]
  postgres:
    image: postgres:16
    restart: always
    environment:
      POSTGRES_USER: litellm
      POSTGRES_PASSWORD: change_me
      POSTGRES_DB: litellm
    volumes: [ ./pgdata:/var/lib/postgresql/data ]
EOF

docker compose up -d

আপনার ডোমেনে স্বয়ংক্রিয় HTTPS-এর জন্য সামনে Caddy বা Nginx রাখুন, তারপর যেকোনো OpenAI SDK কাজ করে:

curl https://llm.yourdomain.com/v1/chat/completions \
  -H "Authorization: Bearer sk-your-virtual-key" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude","messages":[{"role":"user","content":"ping"}]}'

এটি এজেন্টের জন্য কেন দারুণ

একটি AI এজেন্ট বা মাল্টি-এজেন্ট ফ্লিট সাধারণত অনেক মডেল কল করে। LiteLLM প্রক্সির পিছনে আপনি পারেন: প্রতিটি এজেন্টকে নিজস্ব ভার্চুয়াল কী ও বাজেট দিয়ে সীমিত করা, ফ্রন্টিয়ার মডেল থেকে সস্তা মডেলে স্বয়ংক্রিয়ভাবে ফলব্যাক করা, লোকাল Ollama-কে ক্লাউড API-র সাথে মেশানো, এবং প্রতিটি এজেন্ট ঠিক কত খরচ করল তার একটি লগ পড়া। এজেন্ট কোড না ছুঁয়ে মডেল বদলান — শুধু কনফিগ বদলান।

LiteLLM গেটওয়ের জন্য কেন EQVPS

• $8/মাস থেকে ডেডিকেটেড IPv4, ডোমেন + HTTPS বান্ধব, সব পোর্ট, সেল্ফ-সার্ভিস reverse DNS।
• EU অবস্থান (জার্মানি, ফিনল্যান্ড) — পরিষ্কার রুট, আসল ডেটা-সুরক্ষা আইন; আপনার কী ও লগ EU-তে থাকে।
• KYC-বিহীন, ক্রিপ্টোতে পরিশোধ। রেজিস্টারের জন্য ইমেল, পরিশোধের জন্য USDC/USDT।
• ~60 সেকেন্ডে root। পরিষ্কার Ubuntu/Debian ইমেজ; docker compose up এবং আপনার গেটওয়ে লাইভ।

AI এজেন্টের জন্য VPS → · VPS-এ Ollama সেল্ফ-হোস্ট করুন →