RAG găzduit de tine, la scară: câtă RAM mănâncă de fapt un index vectorial

Fiecare tutorial RAG rulează pe un laptop, cu câteva sute de documente, și pare fără efort. Apoi îl îndrepți spre un corpus real — documentația unei firme, ani de tichete, o bază de cunoștințe — și deodată memoria devine toată discuția.

RAG nu scalează după CPU. Scalează după RAM.

De ce vrea indexul memorie

Regăsirea funcționează transformând fiecare bucată de text într-un embedding — un vector lung de câteva sute până la câteva mii de numere. Căutarea înseamnă compararea vectorului interogării cu toți aceștia, rapid. „Rapid” e cuvântul-cheie: pentru latență mică, indexul trebuie să stea în RAM. Pe disc merge, dar fiecare interogare plătește o penalizare, iar regăsirea cu latență mică era tocmai motivul găzduirii proprii.

Deci factura de memorie crește după două lucruri: câte bucăți ai și cât de lat e fiecare vector.

Cifre reale, aproximativ

Măsoară-le pe ale tale — dimensiunea și tipul de index schimbă mult lucrurile —, dar ca punct de pornire:

• Câteva sute de mii de embeddinguri — comod în 2–4 GB. O bază de cunoștințe personală, documentația unui singur produs.
• Câteva milioane — cu aplicația, clientul de model și sistemul de operare în jur, socotește 16–32 GB. E o bază de cunoștințe serioasă de firmă sau un RAG cu mai multe surse.
• Zeci de milioane sau vectori de dimensiune mare — acum ești la 48–80 GB, iar dincolo de asta, pe mai multe mașini. Colecții mari de documente, regăsire pentru mai mulți clienți sau mai mulți indecși ținuți calzi deodată.

Un sistem multi-agent care ține și un index mare adună ambele costuri pe aceeași mașină — așa se transformă pe tăcute un plan de 32 GB într-unul de 64 GB.

Alegerea motorului, pe scurt

Dacă rulezi deja Postgres, pgvector e opțiunea cu cel mai mic efort — e o extensie, nu un serviciu nou de păzit. Când ai milioane de vectori și vrei căutare filtrată rapidă, un motor dedicat, ca Qdrant sau Weaviate, își merită procesul separat. Nu complica din prima zi; rulează ce operezi deja și separă când căutarea chiar încetinește.

De ce să te obosești cu găzduirea proprie

Două motive pentru care oamenii chiar fac asta, și niciunul nu e „ca să economisesc câțiva dolari”:

Intimitatea. Embeddingurile nu sunt abstracte — codifică textul din care provin. Documentele tale, conținutul clienților, notițele interne, transformate în vectori și trimise pe serverele unui terț. Găzduirea proprie le ține pe o mașină pe care o controlezi. Dacă datele sunt atât de sensibile încât plătești și cu cripto, fără KYC, un cloud vectorial administrat anulează tot rostul.

Costul fix. Serviciile vectoriale administrate taxează după vectorii stocați și interogările rulate. Un VPS e o singură sumă lunară și îl poți solicita cât de tare vrei. La scară, previzibilul bate contorizatul.

Ce înseamnă asta pentru dimensionare

Începe prin a-ți măsura corpusul, nu prin a ghici. Află numărul de embeddinguri și dimensiunea lor, încarcă un eșantion, urmărește memoria rezidentă, extrapolează. Apoi alege un plan cu rezervă pentru index plus tot ce e în jurul lui — aplicația, clientul de model, loc de creștere.

Pentru orice trece de câteva milioane de vectori ținuți privat, linia Pro merge de la 32 la 80 GB, cu IP dedicat și backup-uri nocturne, ceea ce contează când indexul este produsul și pierderea lui doare.