VPS til selv-hostet RAG i skala

En RAG-demo på en laptop med to hundrede dokumenter føles ubesværet. Så peger du den mod et rigtigt korpus — en virksomheds dokumenter, års tickets, en faktisk vidensbase — og det hele bliver et hukommelsesproblem. Ikke et CPU-problem. Et hukommelses-et.

Her er den del, de fleste hosting-sider springer over: hurtig retrieval vil have indekset i RAM. Hvert stykke tekst bliver en embedding — en vektor et par hundrede til et par tusinde tal bred — og at søge betyder at sammenligne din forespørgsel mod dem alle, hurtigt. På disk virker det, men hver forespørgsel betaler en latensskat, og lav-latens-retrieval var grunden til, at du selv-hostede i første omgang.

Dimensioneringsregnestykket, ærligt

Mål dit eget korpus — dimension og indekstype rykker dette meget — men som et udgangspunkt:

• Et par hundrede tusinde embeddings — 2–4 GB. En personlig vidensbase. Du behøver ikke Pro til dette; en mindre plan er fin.
• Lave millioner — med appen, model-klienten og OS'et omkring det, planlæg for 16–32 GB. En seriøs virksomhedsvidensbase. Det er her, Pro-32 eller Pro-48 begynder at give mening.
• Titusinder af millioner, eller høj-dimension-vektorer — 48 GB og op, og efter ~80 GB deler du indekset over servere. Store dokumentsamlinger, multi-tenant-retrieval, flere indekser varme på én gang.

Vi skrev hele RAM-kurven ud her, hvis du vil have detaljerne.

Hvorfor høj-hukommelse og no-KYC sammen

At leje 48 GB RAM er nemt. At leje det med krypto og uden identitetstjek er ikke — de fleste værter, der sælger seriøs hukommelse billigt, gør det bag et kort og en KYC-formular. Dine embeddings er ikke abstrakte tal; de indkoder teksten, de kom fra. Dine dokumenter, dine kunders indhold, gjort til vektorer. Hvis de data er følsomme nok til, at du betaler privat, ophæver en managed vektor-cloud hele pointen — og det gør en vært, der binder serveren til din identitet, også.

Den kombination — høj hukommelse, dedikeret IP, krypto, ingen KYC, natlige backups — er, hvad Pro-linjen er til. Den er ikke den billigste pr. gigabyte, og hvis du ikke har brug for privatliv, kan du finde RAM billigere andetsteds. Men hvis indekset er dit produkt, og det ikke kan forlade stedet, er dette den form, der passer.

Hvor du starter

Vælg en plan med råderum til indekset plus alt omkring det — appen, model-klienten, plads til at vokse. For de fleste rigtige korpora er det Pro-48 (48 GB); et stort går til Pro-64 eller Pro-80. Load en prøve først, hold øje med hukommelse, dimensionér ud fra tallet, du målte — ikke det, du frygtede.

Hvis din retrieval er en del af et større agent-system, holder samme boks ofte agent-flåden også — det er sådan, en 48 GB-plan stille bliver en 64 GB-en.