Să scăpăm de partea dezamăgitoare de la început, pentru că internetul e plin de pagini care n-o fac.
Serverele noastre sunt doar cu CPU. Nu oferim GPU-uri. Asta înseamnă că lucrul cu LLM-uri locale are aici un plafon ferm, iar să pretindem altceva ar însemna doar să-ți irosim banii.
Ce merge de fapt pe CPU
Cu până la 6 vCPU și 6 GB de RAM (planul nostru Medium — $12/lună), ești în zona modelelor mici cuantizate:
- Modele de 1B–3B (Q4): chiar utilizabile. Destul de rapide pentru clasificare, etichetare, rutare și extragere simplă de date structurate.
- Modele de 7B–8B (Q4): rulează, dar așteaptă-te la câțiva tokeni pe secundă. Bune pentru o coadă care toacă documente peste noapte. Chinuitoare ca fereastră de chat.
- Modele de embedding: potrivire excelentă. Sunt mici, rapide pe CPU, și probabil acesta e cel mai bun motiv de a rula Ollama pe un server ca al nostru.
- 13B și peste: nu. Vei face swap și vei aștepta.
Dacă îți trebuie un chat 70B rapid și interactiv, ai nevoie de un host cu GPU — e alt produs, de la alt furnizor, și preferăm să-ți spunem asta decât să-ți luăm cei $12.
Unde un server cu CPU câștigă cu adevărat
Intimitate. Documentele tale, prompturile tale, embeddings-urile tale — nu părăsesc niciodată o mașină controlată de tine și nu devin niciodată datele de antrenament ale cuiva. Pentru mulți oameni ăsta e tot rostul, iar câțiva tokeni pe secundă sunt un schimb acceptabil.
Cost previzibil. Fără factură per token. Un pipeline care clasifică cincizeci de mii de înregistrări costă cât unul care clasifică cincizeci: $12.
Sarcini asincrone. Majoritatea muncii utile cu LLM-uri nu e o fereastră de chat. E o coadă: rezumă astea, etichetează pe acelea, fă embeddings pentru corpusul ăsta. Un server cu CPU care macină o coadă de sarcini peste noapte se descurcă perfect.
Configurare
# Ubuntu 24.04 — Medium plan recommended
curl -fsSL https://ollama.com/install.sh | sh
# Start with something small and see for yourself
ollama pull llama3.2:3b
ollama run llama3.2:3b "Summarize this in one sentence: ..."
# Embeddings — the sweet spot for CPU
ollama pull nomic-embed-text
curl http://localhost:11434/api/embeddings \
-d '{"model":"nomic-embed-text","prompt":"hello world"}'
Ollama servește un API HTTP pe localhost:11434. Lasă-l acolo. Dacă trebuie să ajungi la el din altă parte, pune-l în spatele unui reverse proxy cu autentificare, pe un plan cu IP dedicat — nu expune niciodată în internet un endpoint de model fără autentificare.
Combină-l cu o bază de date vectorială (Qdrant sau pgvector în Docker) și ai un set RAG privat complet pe un singur server de $12. Combinația asta — embeddings mici locale, vector store local, API extern doar pentru pasul greu de generare — e configurarea care chiar are sens pe un asemenea hardware.
Alegerea planului
| Utilizare | Plan | Preț |
|---|---|---|
| Embeddings, modele 1–3B, pipeline RAG | Medium | $12/lună |
| La fel, plus un endpoint public cu autentificare | Medium-IP | $20/lună |
| Doar testezi modele mici | Small | $8/lună |
Doar CPU, până la 6 vCPU și 6 GB RAM. Stocare NVMe, trafic nelimitat, în UE. Plată cripto, fără KYC. Plata anuală înseamnă un singur transfer în loc de douăsprezece.
Lecturi utile
- Găzduiește o bază de date vectorială pentru memoria AI — cealaltă jumătate a unui set RAG privat
- VPS pentru agenți AI — orchestrare pe același server
Gata? Pornește un server → — funcțional în aproximativ un minut, plătit cu cripto, fără act de identitate.
VPS pentru Open WebUI: o interfață de chat privată pentru LLM-uri →
Comentarii
Încă nu există comentarii. Fii primul.