大規模自託管 RAG：一個向量索引到底吃多少 RAM

每篇 RAG 教學都在一台裝了幾百份文件的筆電上跑，感覺毫不費力。然後您把它指向一個真實的語料——一家公司的文件、多年的工單、一個知識庫——突然間記憶體就成了全部話題。

RAG 不靠 CPU 擴充。它靠 RAM 擴充。

為什麼索引想要記憶體

檢索的工作方式是把每一塊文字變成一個 embedding——一個幾百到幾千個數字長的向量。搜尋意味著把您的查詢向量跟它們全部快速比較。「快速」是關鍵詞：為低延遲，索引需要住在 RAM 裡。在磁碟上它能用，但每個查詢都要付代價，而低延遲檢索一開始就是自託管的重點。

所以記憶體帳單隨兩件事擴充：您有多少分塊，以及每個向量多寬。

真實數字，大致地

量您自己的——維度和索引型別對這影響很大——但作為一個起步感覺：

• 幾十萬個 embeddings —— 在 2–4 GB 裡舒服。一個個人知識庫、單個產品的文件。
• 一到幾百萬 —— 加上週圍的應用、模型用戶端和作業系統，規劃 16–32 GB。這是一個正經的公司知識庫或一個多源 RAG。
• 數千萬，或高維向量 —— 現在您到 48–80 GB，再往上就跨幾台機器。大型文件資產、多租戶檢索、或您同時保持幾個索引熱著。

一個也持有大索引的多代理系統，把兩筆成本都疊在同一台機器上——那就是一個 32 GB 方案悄悄變成一個 64 GB 的方式。

引擎選擇，簡述

如果您已經在跑 Postgres，pgvector 是最省事的選項——它是個擴充，不是一個要照看的新服務。當您有數以百萬計向量、想要快速的過濾搜尋時，一個像 Qdrant 或 Weaviate 的專用引擎配得上那個單獨的程式。別在第一天過度工程；跑您已經在營運的，只在搜尋真的變慢時再拆出去。

為什麼費勁自託管

人們真去做這個的兩個理由，都不是「為了省幾美元」：

隱私。 Embeddings 不是抽象的——它們編碼了它們來自的文字。您的文件、您客戶的內容、您的內部筆記，變成向量、送到一個第三方的伺服器上。自託管把那個留在一台您掌控的機器上。如果資料敏感到您還在用加密貨幣、免 KYC 付款，一個託管向量雲就把全部意義抵消了。

固定成本。 託管向量服務按儲存的向量和跑的查詢計費。VPS 是一個月一個數，您想多用力用它都行。規模一大，可預測勝過按量。

這對設定意味著什麼

從量您的語料開始，不是靠猜。拿到您的 embedding 數量和維度、載入一個樣本、盯著常駐記憶體、外推。然後挑一個給索引加周圍一切留有餘量的方案——應用、模型用戶端、增長的空間。

對任何超過一兩百萬私密持有向量的場景，Pro 系列跑 32 到 80 GB，帶獨立IP 和每夜備份，當索引就是產品、丟了它很痛時，這很要緊。