LiteLLM proxy-ის თვით-ჰოსტინგი VPS-ზე: ერთი OpenAI-თავსებადი endpoint ყოველი მოდელისთვის

თუ ერთზე მეტ აპლიკაციას უშვებთ — ან ერთ აგენტს, რომელიც რამდენიმე მოდელზე იშლება — ბოლოს იმავე კედელს ხვდებით: ყოველ პროვაიდერს აქვს საკუთარი SDK, საკუთარი გასაღებები, საკუთარი rate limit-ები და არავითარი ერთი ადგილი ხარჯის სანახავად. LiteLLM ამას ასწორებს ერთი OpenAI-თავსებადი endpoint-ის ყველაფრის წინ დაყენებით. თქვენი კოდი იძახებს ერთ URL-ს მოდელის სახელით; LiteLLM მარშრუტავს მას OpenAI-ზე, Anthropic-ზე, Groq-ზე, Together-ზე, Mistral-ზე, ლოკალურ Ollama-ზე — რაც დააკონფიგურირეთ — და გაძლევთ ბიუჯეტებს, fallback-ებსა და ერთ log-ს ყოველი ზარისა.

მისი VPS-ზე თვით-ჰოსტინგი ნიშნავს, რომ თქვენი პროვაიდერის გასაღებები, თქვენი prompt-ები და თქვენი ხარჯის მონაცემები ცხოვრობს box-ზე, რომელსაც თქვენ აკონტროლებთ, გადახდილი კრიპტოთი KYC-ის გარეშე.

რა სჭირდება LiteLLM proxy-ს

• არც ისე ბევრი compute — ის gateway-ია. მძიმე სამუშაო ხდება პროვაიდერებთან; LiteLLM უბრალოდ მარშრუტავს. Small ($8/თვე — 4 vCPU, 4 GB RAM) კომფორტულად უშვებს proxy-ს პლუს Postgres ვირტუალური გასაღებებისა და ხარჯის თვალთვალისთვის.
• გამოყოფილი IP, დომენი და HTTPS. თქვენი აპლიკაციები და აგენტები უკავშირდებიან შემომავალი, ასე რომ გინდათ dedicated-IPv4 ტარიფი, დომენი და TLS. NAT ტარიფები არ იღებენ შემომავალ web ტრაფიკს.
• გამავალი პროვაიდერებთან. box-ს სჭირდება ნორმალური გამავალი HTTPS მოდელის API-ებთან მისაწვდომად — ყოველ ტარიფს აქვს ის.

Docker დაყენება (Ubuntu 24.04)

# dedicated-IP plan, root shell
apt update && apt install -y docker.io docker-compose-v2
systemctl enable --now docker

mkdir -p /opt/litellm && cd /opt/litellm
cat > config.yaml <<'EOF'
model_list:
  - model_name: gpt-4o
    litellm_params:
      model: openai/gpt-4o
      api_key: os.environ/OPENAI_API_KEY
  - model_name: claude
    litellm_params:
      model: anthropic/claude-sonnet-4-5
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: local-llama
    litellm_params:
      model: ollama/llama3.1
      api_base: http://host.docker.internal:11434
general_settings:
  master_key: sk-CHANGE-ME          # admin key; issue per-app virtual keys instead
EOF

cat > docker-compose.yml <<'EOF'
services:
  litellm:
    image: ghcr.io/berriai/litellm:main-latest
    restart: always
    ports: [ "127.0.0.1:4000:4000" ]
    environment:
      OPENAI_API_KEY: sk-...            # your provider keys
      ANTHROPIC_API_KEY: sk-ant-...
      DATABASE_URL: postgresql://litellm:change_me@postgres:5432/litellm
    volumes: [ ./config.yaml:/app/config.yaml ]
    command: [ "--config", "/app/config.yaml" ]
  postgres:
    image: postgres:16
    restart: always
    environment:
      POSTGRES_USER: litellm
      POSTGRES_PASSWORD: change_me
      POSTGRES_DB: litellm
    volumes: [ ./pgdata:/var/lib/postgresql/data ]
EOF

docker compose up -d

დააყენეთ Caddy ან Nginx წინ ავტომატური HTTPS-ისთვის თქვენს დომენზე, შემდეგ ნებისმიერი OpenAI SDK უბრალოდ მუშაობს:

curl https://llm.yourdomain.com/v1/chat/completions \
  -H "Authorization: Bearer sk-your-virtual-key" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude","messages":[{"role":"user","content":"ping"}]}'

რატომ არის ეს შესანიშნავი აგენტებისთვის

AI აგენტი ან მრავალ-აგენტიანი ფლოტი ჩვეულებრივ ბევრ მოდელის ზარს აკეთებს. LiteLLM proxy-ის უკან შეგიძლიათ: შეზღუდოთ ყოველი აგენტი საკუთარი ვირტუალური გასაღებითა და ბიუჯეტით, ავტომატურად გადახვიდეთ frontier მოდელიდან უფრო იაფზე, შეურიოთ ლოკალური Ollama cloud API-ებს და წაიკითხოთ ერთი log ზუსტად იმისა, რა დახარჯა ყოველმა აგენტმა. შეცვალეთ მოდელები აგენტის კოდის შეხების გარეშე — უბრალოდ შეცვალეთ კონფიგი.

რატომ EQVPS LiteLLM gateway-ისთვის

• გამოყოფილი IPv4 $8/თვე-დან, დომენი + HTTPS-მეგობრული, ყველა პორტი, self-service rDNS.
• EU ლოკაციები (გერმანია, ფინეთი) — სუფთა მარშრუტები, ნამდვილი მონაცემთა დაცვის კანონი; თქვენი გასაღებები და log-ები რჩება EU-ში.
• No KYC, კრიპტო გადახდა. ელფოსტა რეგისტრაციისთვის, USDC/USDT გადასახდელად.
• Root ~60 წამში. სუფთა Ubuntu/Debian იმიჯები; docker compose up და თქვენი gateway ცოცხალია.

VPS AI აგენტებისთვის → · თვით-ჰოსტინგი Ollama VPS-ზე →