Găzduirea unui LLM local pe un VPS cu Ollama — ce funcționează de fapt

Să trimiți fiecare prompt la API-ul altcuiva e în regulă — până nu mai e. Poate datele sunt sensibile și ai prefera să nu-ți părăsească niciodată serverul. Poate te-ai săturat de limitele de rată sau de o versiune de model care se schimbă sub tine ori de un contor per token care ticăie cât experimentezi. La un moment dat, „și dacă mi-l rulez pe al meu?” nu mai e un exercițiu de imaginație.

Ollama face asta cu adevărat ușor. Întrebarea mai grea e ce încape pe un VPS — și aici răspunsul cinstit contează mai mult decât entuziasmul.

Ce poți rula de fapt pe CPU

Fără GPU? Atunci faci inferență pe CPU, iar mărimea modelului e totul. Cuantizarea (comprimarea greutăților la 4 biți) e ce o face practică — pierzi o fărâmă de calitate și economisești o grămadă de memorie.

Cifrele aproximative care contează:

• Model de 3B, 4 biți — ~3 GB RAM. Destul de vioi pentru chat și sarcini simple.
• Model de 7B, 4 biți — ~5 GB RAM. Punctul ideal: vizibil mai deștept, rulează încă într-un ritm lizibil.
• 13B și peste — 8-10 GB+ și lent pe CPU. Posibil tehnic, enervant în practică.

Viteza, cinstit: pe câteva vCPU vei vedea câțiva tokeni pe secundă. Perfect pentru un chatbot sau un asistent de programare, unde citești pe măsură ce scrie. Nu e în regulă pentru procesarea în lot a unui milion de documente — asta e treabă de GPU și nu pretindem altceva. Nu oferim instanțe cu GPU. Dacă planul tău are nevoie de un model de 70B rulat repede sau de debit mare, un VPS doar cu CPU — al nostru sau al oricui — e unealta greșită și ar trebui să știi asta înainte să cheltui un cent.

Dar un 7B privat, care îți răspunde la întrebări și nu sună niciodată acasă? Rulează comod pe o mașină de 6 GB.

Instalarea — trei comenzi

Pornește serverul, intră prin SSH și:

curl -fsSL https://ollama.com/install.sh | sh   # installs Ollama
ollama run llama3.2:3b                            # pulls + runs a 3B model

Asta e tot — vorbești deja cu el în terminal. Ca să-l folosești din propriul cod, Ollama servește deja un API HTTP pe portul 11434:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2:3b",
  "prompt": "Summarize this changelog in two lines: ...",
  "stream": false
}'

O capcană bună de știut de la început: implicit, API-ul ăla se leagă de localhost. Lasă-l așa și folosește un tunel SSH, altfel e expus pe internet. Dacă vrei să fie accesibil, pune-l în spatele unei autentificări — nu lăsa un endpoint de model deschis pe un IP public.

Alegerea mașinii

Potrivește planul după model, nu invers:

Pentru cei mai mulți care găzduiesc singuri, Medium (6 GB) e recomandarea cinstită — destulă rezervă pentru un model de 7B plus aplicația ta și sistemul de operare. Small (4 GB) merge dacă rămâi la 3B. Orice sub asta e prea strâmt după ce sistemul și contextul își iau partea.

De ce aici

Dacă găzduiești singur un LLM, intimitatea e de obicei jumătate din motiv — așa că ar fi ciudat să predai actul de identitate ca să închiriezi mașina. Nu trebuie: poți plăti în USDC sau USDT (sau cu cardul, prin serviciul de cumpărare), fără KYC, iar serverul e al tău în aproximativ un minut. Nativ cripto, prietenos cu agenții, iar datele rămân pe o mașină pe care o controlezi.

Compromisul e cel despre care am fost cinstiți: doar CPU, planurile standard până la 6 GB (linia Pro merge până la 80 GB, tot doar cu CPU), modele mici. În limitele astea, găzduirea proprie e excelentă. În afara lor, nu lăsa pe nimeni să-ți vândă o mașină cu CPU pentru o treabă care are nevoie de GPU.

Gata să încerci? Alege un plan, plătește și vei avea root în aproximativ 60 de secunde — apoi sunt trei comenzi până la propriul model privat.