Inferență LLM locală, în privat: ce poate și ce nu poate face un VPS doar cu CPU

Să fim cinstiți de la început: dacă vrei generare rapidă, ieftină și de calitate, apelează un API. Un VPS doar cu CPU nu va bate un centru de date plin de GPU-uri, iar cine îți spune altceva vinde ceva.

Atunci de ce să găzduiești singur inferența? Dintr-un singur motiv, și unul bun: modelul de pe serverul tău nu-ți trimite niciodată prompturile nicăieri.

Cum arată de fapt inferența pe CPU

Poți rula modele reale pe CPU, dacă ai destulă RAM. Un model de 7–8B cuantizat pe 4 biți merge. Unul de 13B merge. Poți împinge chiar și un model din clasa 30B, dacă ai memoria. Ce nu poți face e să-l faci rapid — ieșirea vine cu câțiva tokeni pe secundă, nu în fluxul instant pe care ți-l dă un API.

Ăsta e compromisul cinstit. Pentru chat interactiv e frustrant. Pentru munca de fundal — rezumarea documentelor peste noapte, clasificarea unei cozi, îmbogățirea datelor după un program — câțiva tokeni pe secundă sunt complet în regulă, iar nimeni nu se uită la ceas.

Calculul RAM-ului

Modelul trebuie să stea în memorie, cuantizat sau nu, plus overhead pentru context și runtime:

• 7–8B, 4 biți — în jur de 6–8 GB. Rulează pe un plan mediu.
• 13B, 4 biți — aproximativ 10–16 GB.
• Clasa 30B, cuantizat — 24–48 GB, în funcție de cuantizare.
• Mai mare sau cu precizie mai mare — ajungi repede la 64–80 GB — iar peste 80 GB nu încape pe nicio mașină Pro și tot e lent, ca pe CPU.

De aceea „rulează un model local” devine pe nesimțite o întrebare de memorie mare. Modelul este consumul de memorie. Adaugă pe aceeași mașină un index RAG sau agenți, iar cifrele se adună.

Ollama vs vLLM, pe scurt

Ollama e ușa ușoară de intrare — instalezi, ollama run, gata. E unealta potrivită pentru o configurare privată, cu un singur utilizator, unde vrei doar ca modelul să fie disponibil. vLLM e construit pentru debit la servire: mai multă configurare, mai bun sub sarcină concurentă, merită când chiar duci volum. Pornește cu Ollama; treci la vLLM când servești trafic real.

Unde câștigă cu adevărat abordarea „întâi intimitatea”

Argumentul pentru inferența găzduită singur nu e viteza sau costul — e că unele date nu pot pleca. Documente juridice. Dosare medicale. Cod proprietar. Orice caz în care trimiterea promptului unui API terț e exclusă din motive de politică sau de încredere. Un model mai lent, care rulează în întregime pe mașina ta, bate unul rapid care loghează tot ce-i trimiți.

Iar dacă datele sunt atât de sensibile, probabil și plata ar trebui să fie privată. Închirierea mașinii cu cripto și fără KYC ține tot lanțul — server, model, prompturi, facturare — departe de evidențele de identitate ale oricui. Asta e de fapt oferta: nu „inferență mai ieftină”, ci „inferență pe care n-o poate vedea nimeni altcineva”.

Concluzia

Pentru viteză și calitate, folosește un API — nicio rușine. Găzduiește singur când intimitatea e cerința și mai lent e acceptabil. Dimensionează pentru model plus contextul lui plus orice altceva de pe mașină și nu te aștepta la viteză de GPU de la un CPU.

Când modelul are nevoie de memorie reală, linia Pro merge de la 32 la 80 GB, cu IP dedicat și backup-uri nocturne — destul ca să țină un model cuantizat serios, cu loc pentru context în jurul lui.