VPS kwa self-hosted RAG kwa kiwango kikubwa

Demo ya RAG kwenye laptop na nyaraka mia mbili huhisi bila juhudi. Kisha unaelekeza kwenye corpus halisi — nyaraka za kampuni, miaka ya tickets, knowledge base halisi — na kila kitu kinakuwa tatizo la kumbukumbu. Si tatizo la CPU. La kumbukumbu.

Hii ndiyo sehemu ambayo kurasa nyingi za hosting huziruka: retrieval ya kasi inataka index kwenye RAM. Kila chunk ya maandishi inakuwa embedding — vector wenye upana wa nambari mia chache hadi elfu kadhaa — na kutafuta maana yake kulinganisha query yako dhidi ya zote, haraka. Kwenye disk inafanya kazi, lakini kila query hulipa kodi ya latency, na retrieval ya latency-ya-chini ndiyo sababu ulijihifadhi kwanza.

Hesabu ya kuweka saizi, kwa uaminifu

Pima corpus yako mwenyewe — dimension na aina ya index huihamisha sana — lakini kama hisia ya kuanzia:

• Embeddings laki chache — 2–4 GB. Knowledge base ya binafsi. Huhitaji Pro kwa hili; mpango mdogo zaidi ni sawa.
• Mamilioni ya chini — na app, model client na OS kuzunguka, panga kwa 16–32 GB. Knowledge base serious ya kampuni. Hapa ndipo Pro-32 au Pro-48 inaanza kuleta maana.
• Makumi ya mamilioni, au vectors za dimension-ya-juu — 48 GB na kuendelea, na zaidi ya ~80 GB unatenga index katika seva. Estates kubwa za nyaraka, retrieval ya multi-tenant, indexes kadhaa moto kwa wakati mmoja.

Tuliandika curve kamili ya RAM hapa kama unataka maelezo.

Kwa nini high-memory na bila-KYC pamoja

Kukodisha 48 GB ya RAM ni rahisi. Kuikodisha kwa crypto na bila ukaguzi wa utambulisho si — wenyeji wengi wanaouza kumbukumbu serious nafuu hufanya hivyo nyuma ya kadi na fomu ya KYC. Embeddings zako si nambari za kufikirika; hu-encode maandishi yaliyotoka. Nyaraka zako, content ya wateja wako, zimegeuzwa kuwa vectors. Kama data hiyo ni nyeti ya kutosha kiasi kwamba unalipa kwa faragha, cloud ya vector inayosimamiwa hupindua lengo zima — na ndivyo pia mwenyeji anayeshikamanisha seva na utambulisho wako.

Mchanganyiko huo — high memory, dedicated IP, crypto, bila KYC, nightly backups — ndicho mstari wa Pro ni kwa ajili yake. Si nafuu zaidi kwa gigabyte, na kama huhitaji faragha unaweza kupata RAM nafuu mahali pengine. Lakini kama index ndiyo bidhaa yako nayo haiwezi kuondoka, hili ndilo umbo linalofaa.

Pa kuanzia

Chagua mpango wenye nafasi kwa index pamoja na kila kitu kuzunguka — app, model client, nafasi ya kukua. Kwa corpora nyingi halisi hiyo ni Pro-48 (48 GB); kubwa huenda Pro-64 au Pro-80. Pakia sampuli kwanza, angalia kumbukumbu, weka saizi kutoka namba uliyoipima — si ile uliyoiogopa.

Kama retrieval yako ni sehemu ya mfumo mkubwa wa agent, sanduku lilelile mara nyingi hushikilia fleet ya agent pia — hivyo ndivyo mpango wa 48 GB unavyokuwa wa 64 GB kimya.