אם אתם מריצים יותר מאפליקציה אחת — או סוכן אחד שמפזר לכמה מודלים — אתם בסוף פוגעים באותו קיר: לכל ספק יש SDK משלו, מפתחות משלו, מגבלות קצב משלו, ואין מקום אחד לראות הוצאה. LiteLLM מתקן את זה על ידי שימת נקודת קצה אחת תואמת-OpenAI מלפני הכל. הקוד שלכם קורא ל-URL אחד עם שם מודל; LiteLLM מנתב אותו ל-OpenAI, Anthropic, Groq, Together, Mistral, Ollama מקומי — מה שהגדרתם — ונותן לכם תקציבים, fallbacks, ולוג אחד של כל קריאה.
אחסון-עצמי שלו על VPS אומר שמפתחות הספק, ה-prompts ונתוני ההוצאה שלכם חיים על ארגז שאתם שולטים בו, משולם בקריפטו ללא KYC.
מה proxy של LiteLLM צריך
- לא הרבה compute — זה gateway. ההרמה הכבדה קורה אצל הספקים; LiteLLM רק מנתב. Small ($8/חודש — 4 vCPU, 4 GB RAM) מריץ בנוחות את ה-proxy בתוספת Postgres למפתחות וירטואליים ומעקב הוצאה.
- IP ייעודי, דומיין ו-HTTPS. האפליקציות והסוכנים שלכם מתחברים נכנס, אז אתם רוצים תוכנית עם IPv4 ייעודי, דומיין ו-TLS. תוכניות NAT לא לוקחות תעבורת web נכנסת.
- יוצא לספקים. הארגז צריך HTTPS יוצא רגיל כדי להגיע ל-APIs של המודלים — לכל תוכנית יש את זה.
הגדרת Docker (Ubuntu 24.04)
# dedicated-IP plan, root shell
apt update && apt install -y docker.io docker-compose-v2
systemctl enable --now docker
mkdir -p /opt/litellm && cd /opt/litellm
cat > config.yaml <<'EOF'
model_list:
- model_name: gpt-4o
litellm_params:
model: openai/gpt-4o
api_key: os.environ/OPENAI_API_KEY
- model_name: claude
litellm_params:
model: anthropic/claude-sonnet-4-5
api_key: os.environ/ANTHROPIC_API_KEY
- model_name: local-llama
litellm_params:
model: ollama/llama3.1
api_base: http://host.docker.internal:11434
general_settings:
master_key: sk-CHANGE-ME # admin key; issue per-app virtual keys instead
EOF
cat > docker-compose.yml <<'EOF'
services:
litellm:
image: ghcr.io/berriai/litellm:main-latest
restart: always
ports: [ "127.0.0.1:4000:4000" ]
environment:
OPENAI_API_KEY: sk-... # your provider keys
ANTHROPIC_API_KEY: sk-ant-...
DATABASE_URL: postgresql://litellm:change_me@postgres:5432/litellm
volumes: [ ./config.yaml:/app/config.yaml ]
command: [ "--config", "/app/config.yaml" ]
postgres:
image: postgres:16
restart: always
environment:
POSTGRES_USER: litellm
POSTGRES_PASSWORD: change_me
POSTGRES_DB: litellm
volumes: [ ./pgdata:/var/lib/postgresql/data ]
EOF
docker compose up -d
שימו Caddy או Nginx מלפנים ל-HTTPS אוטומטי על הדומיין שלכם, ואז כל SDK של OpenAI פשוט עובד:
curl https://llm.yourdomain.com/v1/chat/completions \
-H "Authorization: Bearer sk-your-virtual-key" \
-H "Content-Type: application/json" \
-d '{"model":"claude","messages":[{"role":"user","content":"ping"}]}'
למה זה נהדר לסוכנים
סוכן AI או צי רב-סוכני בדרך כלל מבצע הרבה קריאות מודל. מאחורי proxy של LiteLLM אתם יכולים: לתחום כל סוכן עם מפתח וירטואלי ותקציב משלו, לחזור אוטומטית ממודל חזיתי לזול יותר, לערבב Ollama מקומי עם APIs של ענן, ולקרוא לוג אחד של בדיוק מה שכל סוכן הוציא. החליפו מודלים בלי לגעת בקוד הסוכן — פשוט שנו את ההגדרה.
למה EQVPS ל-gateway של LiteLLM
- IPv4 ייעודי החל מ-$8/חודש, ידידותי-דומיין+HTTPS, כל הפורטים, rDNS בשירות-עצמי.
- מיקומים באיחוד האירופי (גרמניה, פינלנד) — נתיבים נקיים, חוק הגנת-נתונים אמיתי; המפתחות והלוגים שלכם נשארים באיחוד האירופי.
- ללא KYC, תשלום בקריפטו. אימייל להרשמה, USDC/USDT לתשלום.
- root תוך ~60 שניות. images נקיים של Ubuntu/Debian;
docker compose upוה-gateway שלכם חי.
תגובות
אין עדיין תגובות. היו הראשונים.