Jipangishie proksi ya LiteLLM kwenye VPS: endpoint moja inayolingana na OpenAI kwa kila modeli

Ukiendesha zaidi ya app moja — au wakala mmoja anayegawanyika kwa modeli kadhaa — hatimaye unagonga ukuta uleule: kila mtoa huduma ana SDK yake, funguo zake, vikomo vyake vya kasi, na hakuna sehemu moja ya kuona matumizi. LiteLLM hurekebisha hili kwa kuweka endpoint inayolingana na OpenAI mbele ya kila kitu. Msimbo wako huita URL moja na jina la modeli; LiteLLM huielekeza kwa OpenAI, Anthropic, Groq, Together, Mistral, Ollama ya ndani — chochote ulichosanidi — na hukupa bajeti, njia mbadala, na kumbukumbu moja ya kila mwito.

Kujipangishia kwenye VPS kunamaanisha funguo za watoa huduma, prompts na data ya matumizi yako huishi kwenye mashine unayoidhibiti wewe, ikilipwa kwa crypto bila KYC.

Proksi ya LiteLLM inahitaji nini

• Hesabu kidogo — ni lango. Kazi nzito hufanyika kwa watoa huduma; LiteLLM huelekeza tu. Small ($8/mwezi — 4 vCPU, 4 GB RAM) huendesha vizuri proksi pamoja na Postgres kwa funguo pepe na ufuatiliaji wa matumizi.
• IP maalum, kikoa na HTTPS. App na mawakala huunganisha kuingia, hivyo unahitaji mpango wa IPv4 maalum, kikoa na TLS. Mipango ya NAT haikubali trafiki ya wavuti ya kuingia.
• Kutoka kwenda watoa huduma. Mashine inahitaji HTTPS ya kawaida ya kutoka ili kufikia API za modeli — kila mpango unayo.

Usanidi wa Docker (Ubuntu 24.04)

apt update && apt install -y docker.io docker-compose-v2
systemctl enable --now docker

mkdir -p /opt/litellm && cd /opt/litellm
cat > config.yaml <<'EOF'
model_list:
  - model_name: gpt-4o
    litellm_params:
      model: openai/gpt-4o
      api_key: os.environ/OPENAI_API_KEY
  - model_name: claude
    litellm_params:
      model: anthropic/claude-sonnet-4-5
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: local-llama
    litellm_params:
      model: ollama/llama3.1
      api_base: http://host.docker.internal:11434
general_settings:
  master_key: sk-CHANGE-ME
EOF

cat > docker-compose.yml <<'EOF'
services:
  litellm:
    image: ghcr.io/berriai/litellm:main-latest
    restart: always
    ports: [ "127.0.0.1:4000:4000" ]
    environment:
      OPENAI_API_KEY: sk-...
      ANTHROPIC_API_KEY: sk-ant-...
      DATABASE_URL: postgresql://litellm:change_me@postgres:5432/litellm
    volumes: [ ./config.yaml:/app/config.yaml ]
    command: [ "--config", "/app/config.yaml" ]
  postgres:
    image: postgres:16
    restart: always
    environment:
      POSTGRES_USER: litellm
      POSTGRES_PASSWORD: change_me
      POSTGRES_DB: litellm
    volumes: [ ./pgdata:/var/lib/postgresql/data ]
EOF

docker compose up -d

Weka Caddy au Nginx mbele kwa HTTPS otomatiki kwenye kikoa chako, kisha SDK yoyote ya OpenAI hufanya kazi:

curl https://llm.yourdomain.com/v1/chat/completions \
  -H "Authorization: Bearer sk-your-virtual-key" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude","messages":[{"role":"user","content":"ping"}]}'

Kwa nini hii ni nzuri kwa mawakala

Wakala wa AI au fliti ya mawakala wengi kwa kawaida hufanya miito mingi ya modeli. Nyuma ya proksi ya LiteLLM unaweza: kumzuia kila wakala kwa ufunguo pepe na bajeti yake, kurudi kiotomatiki kutoka modeli ya kisasa hadi ya bei nafuu, kuchanganya Ollama ya ndani na API za wingu, na kusoma kumbukumbu moja ya kiasi hasa kila wakala alichotumia. Badilisha modeli bila kugusa msimbo wa wakala — badilisha tu usanidi.

Kwa nini EQVPS kwa lango la LiteLLM

• IPv4 maalum kuanzia $8/mwezi, rafiki kwa kikoa + HTTPS, bandari zote, reverse DNS ya kujihudumia.
• Maeneo ya EU (Ujerumani, Ufini) — njia safi, sheria halisi ya ulinzi wa data; funguo na kumbukumbu zako hubaki EU.
• Bila KYC, lipa kwa crypto. Barua pepe kujisajili, USDC/USDT kulipa.
• Root kwa ~sekunde 60. Picha safi za Ubuntu/Debian; docker compose up na lango lako liko hai.

VPS kwa mawakala wa AI → · Jipangishie Ollama kwenye VPS →