Cum instalezi Ollama pe un VPS (și cum îi apelezi API-ul)

Instalează Ollama pe un VPS, descarcă un model mic și apelează-i API-ul HTTP — cu nota cinstită că sunt mașini doar cu CPU, deci rămâi la modele mici cuantizate și la embeddinguri. Comenzi gata de copiat și cum îl expui în siguranță.

Ollama face din rularea unui model local o instalare de o linie. Acesta e ghidul practic; pentru imaginea cinstită a ce poate și ce nu poate face inferența pe CPU (și unde e punctul ideal pentru RAG), vezi cazul de utilizare VPS pentru Ollama și găzduirea proprie a Ollama.

1. Instalează Ollama

curl -fsSL https://ollama.com/install.sh | sh

Comanda instalează Ollama și îl pornește ca serviciu systemd care ascultă pe localhost:11434.

2. Descarcă și rulează un model mic

Pe o mașină doar cu CPU, începe cu ceva mic:

ollama pull llama3.2:3b
ollama run llama3.2:3b "Summarize this in one sentence: ..."

Modelele de 3B chiar se pot folosi pe CPU; cele de 7–8B merg cu câțiva tokeni pe secundă (în regulă pentru loturi, chinuitor pentru chat); cele de 13B+ vor folosi swap și se vor târî — nu le încerca.

3. Apelează API-ul HTTP

curl http://localhost:11434/api/generate \
  -d '{"model":"llama3.2:3b","prompt":"ping","stream":false}'

Embeddingurile sunt punctul ideal pentru CPU:

ollama pull nomic-embed-text
curl http://localhost:11434/api/embeddings \
  -d '{"model":"nomic-embed-text","prompt":"hello world"}'

4. Ține-l pe localhost — expune-l în siguranță, dacă e nevoie

Ollama se leagă implicit de 127.0.0.1:11434. Ține-l acolo. Dacă trebuie să ajungi la el de pe altă mașină, pune în față un reverse proxy cu autentificare, pe un plan cu IP dedicat (ghid nginx + HTTPS), sau folosește un tunel SSH — nu expune niciodată public un endpoint de model fără autentificare.

Partea cinstită

Sunt instanțe doar cu CPU (fără GPU). Modelele mici cuantizate și embeddingurile merg bine; modelele mari, nu. Combină Ollama cu o bază vectorială pentru un stack RAG privat — embeddinguri locale mici plus un depozit vectorial local e configurația care chiar strălucește aici. Medium ($12/lună, 6 GB) e planul comod. Root în aproximativ un minut, fără KYC, plată cripto.

Întrebări frecvente

Cum instalez Ollama pe un VPS?

O singură comandă: curl -fsSL https://ollama.com/install.sh | sh. Apoi ollama pull pentru un model mic și ollama run sau apelezi API-ul HTTP pe localhost:11434. Pașii sunt mai jos. Pe un VPS doar cu CPU, rămâi la modele mici cuantizate (1B–8B) și la embeddinguri — modelele mari au nevoie de GPU.

Vor fi modelele rapide pe un VPS doar cu CPU?

Cele mici, da; cele mari, nu. Așteaptă-te la câțiva tokeni pe secundă pe un model de 7–8B cu cuantizare pe 4 biți și la o viteză chiar plăcută pe modelele de 1–3B și pe modelele de embedding. E excelent pentru sarcini de fundal, clasificare și pipeline-uri RAG — nu pentru un chat interactiv rapid pe un model mare.

Să expun API-ul Ollama pe internet?

Nu. Ține-l pe localhost:11434. Dacă ai nevoie de acces de la distanță, pune-l în spatele unui reverse proxy cu autentificare, pe un plan cu IP dedicat, sau ajungi la el printr-un tunel SSH. Nu expune niciodată un endpoint de model fără autentificare pe internetul deschis.

De ce plan am nevoie?

Planul nostru Medium ($12/lună, 6 GB) duce comod modele mici și embeddinguri; Small ($8) merge pentru testarea modelelor de 1–3B. Sunt instanțe doar cu CPU — fără GPU — deci dimensionează după memoria RAM de care are nevoie modelul, nu după speranța de viteză.

Cereți act de identitate sau card?

Nu. E-mail la înregistrare, plată în USDC sau USDT — fără documente, fără card.

Comentarii

Încă nu există comentarii. Fii primul.