Come installare Ollama su un VPS (e chiamare la sua API)

Installa Ollama su un VPS, scarica un modello piccolo e chiama la sua API HTTP — con la nota onesta che sono macchine CPU, quindi resta su modelli quantizzati piccoli ed embedding. Comandi copia-incolla, e come esporlo in sicurezza.

Ollama rende l'esecuzione di un modello locale un'installazione di una riga. Questa è la guida; per il quadro onesto di ciò che l'inferenza su CPU può e non può fare (e il punto ideale del RAG), vedi il caso d'uso VPS per Ollama e self-host Ollama.

1. Installa Ollama

curl -fsSL https://ollama.com/install.sh | sh

Questo installa Ollama e lo avvia come servizio systemd in ascolto su localhost:11434.

2. Scarica ed esegui un modello piccolo

Su una macchina CPU, parti piccolo:

ollama pull llama3.2:3b
ollama run llama3.2:3b "Summarize this in one sentence: ..."

I modelli 3B sono davvero utilizzabili su CPU; i 7–8B girano a pochi token/sec (bene per il batch, penoso per la chat); i 13B+ faranno swap e arrancheranno — non farlo.

3. Chiama l'API HTTP

curl http://localhost:11434/api/generate \
  -d '{"model":"llama3.2:3b","prompt":"ping","stream":false}'

Gli embedding sono il punto ideale della CPU:

ollama pull nomic-embed-text
curl http://localhost:11434/api/embeddings \
  -d '{"model":"nomic-embed-text","prompt":"hello world"}'

4. Tienilo su localhost — esponilo in sicurezza se serve

Ollama si lega a 127.0.0.1:11434 per impostazione predefinita. Lascialo lì. Se devi raggiungerlo da un'altra macchina, metti davanti un reverse proxy con auth su un piano a IP dedicato (guida nginx + HTTPS) o usa un tunnel SSH — non esporre mai pubblicamente un endpoint di modello non autenticato.

La parte onesta

Sono istanze solo CPU (niente GPU). I modelli quantizzati piccoli e gli embedding girano bene; quelli grandi no. Abbina Ollama a un database vettoriale per uno stack RAG privato — piccoli embedding locali più un archivio vettoriale locale è la configurazione che qui brilla davvero. Medium (12 $/mese, 6 GB) è il piano comodo. Root in circa un minuto, niente KYC, pagamento in cripto.

FAQ

Come installo Ollama su un VPS?

Un comando: curl -fsSL https://ollama.com/install.sh | sh. Poi ollama pull di un modello piccolo e ollama run, oppure chiama l'API HTTP su localhost:11434. I passaggi sono sotto. Su un VPS CPU resta su modelli quantizzati piccoli (1B–8B) ed embedding — i modelli grandi richiedono una GPU.

I modelli saranno veloci su un VPS CPU?

Quelli piccoli sì, quelli grandi no. Aspettati qualche token al secondo su un modello 7–8B con quantizzazione a 4 bit, e prestazioni davvero scattanti su modelli 1–3B e modelli di embedding. Ottimo per job in background, classificazione e pipeline RAG — non per una chat interattiva veloce su un modello grande.

Dovrei esporre l'API di Ollama a internet?

No. Tienila su localhost:11434. Se ti serve accesso remoto, mettila dietro un reverse proxy con autenticazione su un piano a IP dedicato, oppure raggiungila tramite un tunnel SSH. Non esporre mai un endpoint di modello non autenticato all'internet aperto.

Quale piano mi serve?

Il nostro Medium (12 $/mese, 6 GB) è comodo per modelli piccoli ed embedding; Small (8 $) va bene per testare modelli 1–3B. Sono istanze solo CPU — niente GPU — quindi dimensiona in base all'impronta RAM del modello, non sperando nella velocità.

Chiedete un documento o una carta?

No. Un'email per registrarti, pagamento in USDC o USDT — niente documenti, niente carta.

Commenti

Ancora nessun commento. Sii il primo.