VPS pentru inferență LLM privată, cu multă memorie

Modelele cuantizate mai mari au nevoie de RAM real, nu de un GPU pe care nu-l ai. Unde un server CPU cu multă memorie rulează privat modele de clasa 30B, ce e realist și ce nu. De la $70/lună.

Avem o pagină separată pentru Ollama și modele mici — acolo e serverul CPU de $12 care rulează modele 1B–8B și embeddings. Pagina asta e celălalt capăt: modelele suficient de mari încât te oprește RAM-ul, nu procesorul.

Să fim sinceri de la început, ca peste tot: serverele noastre sunt doar cu CPU, fără GPU. Un model mare rulează încet aici. Dacă vrei chat interactiv rapid pe un model 30B, îți trebuie un host cu GPU — alt produs, alt furnizor. Ce face bine un server CPU cu multă memorie e să ruleze privat un model mare cuantizat, pentru sarcini care nu sunt o fereastră de chat.

Socoteala cu RAM-ul

Modelul stă în memorie, cuantizat sau nu, plus un surplus pentru context și runtime:

13B, 4 biți — aproximativ 10–16 GB. Merge deja pe un plan mediu.
Clasa 30B, cuantizat — 24–48 GB, în funcție de cuantizare. Asta e zona Pro-32 – Pro-64.
Mai mare sau cu precizie mai mare — 64–80 GB, iar peste 80 GB nu încape pe niciun server de-al nostru. Pro-80 e plafonul aici.

De aceea „rulează un model local mai mare” e de fapt o întrebare despre memorie. Modelul este amprenta de memorie. Pune un index RAG pe același server și cifrele se adună.

Unde privatul câștigă cu adevărat

Argumentul nu e viteza și nici costul — e faptul că unele date nu au voie să plece. Documente juridice. Fișe medicale. Cod proprietar. Orice caz în care trimiterea promptului la un API terț e exclusă. Un model mai lent care rulează în întregime pe mașina ta bate unul rapid care înregistrează tot ce-i trimiți. Am scris aici imaginea completă.

Iar dacă datele sunt atât de sensibile, probabil și plata ar trebui să fie privată. Închirierea serverului cu cripto și fără KYC ține tot lanțul — server, model, prompturi, facturare — în afara evidențelor de identitate ale oricui. Asta e oferta: nu inferență mai ieftină, ci inferență pe care n-o vede nimeni altcineva.

Ce să alegi

Pentru un model de clasa 30B, cu loc pentru context, Pro-64 (64 GB) e alegerea confortabilă; o cuantizare mai strânsă încape pe Pro-32 sau Pro-48, una mai mare merge pe Pro-80. Încarcă întâi modelul, urmărește memoria rezidentă și dimensionează după ce ai măsurat. Și stabilește așteptările: e inferență privată pe loturi, nu o fereastră de chat rapidă.

Gata de deploy? Plătește cu cripto, fără KYC — online în aproximativ un minut.

Pornește acum →

Întrebări frecvente

Prin ce diferă de cazul vostru cu Ollama?

Pagina despre Ollama tratează modele mici pe un server CPU de $12 — 1B–8B, embeddings, sarcini ușoare. Aici e capătul cu multă memorie: modele cuantizate de 13B până la clasa 30B, care au nevoie de 24–48 GB sau mai mult doar ca să se încarce. Aceeași realitate doar cu CPU, amprentă de memorie mult mai mare, alt plan.

Câtă RAM îmi trebuie pentru un model anume?

Modelul trebuie să încapă în memorie, plus un surplus. Un model 13B pe 4 biți vrea ~10–16 GB; clasa 30B cuantizată urcă la 24–48 GB; mai mare sau cu precizie mai mare ajungi la 64–80 GB — peste asta, niciun server de-al nostru nu încape. Adaugă și loc pentru context.

Va fi rapid?

Nu — fii sincer cu tine aici. Inferența pe CPU pentru un model mare înseamnă câțiva tokeni pe secundă, nu un flux interactiv. E în regulă pentru loturi și sarcini de fundal (rezumate peste noapte, clasificarea unei cozi). Pentru chat în timp real pe un model mare îți trebuie un GPU, pe care nu-l oferim.

De ce să-l rulez aici și nu printr-un API?

Intimitate. Prompturile și răspunsurile tale nu ating niciodată serverele sau logurile unui furnizor. Pentru date sensibile — juridice, medicale, cod intern — un model privat mai lent bate unul rapid care vede tot. Combină-l cu plata cripto fără KYC și tot lanțul rămâne al tău.

Comentarii

Încă nu există comentarii. Fii primul.