−25%

Windows 年繳方案適用,至 10 月 31 日。 檢視方案

EQVPS
開始使用

用於大規模自建 RAG 的 VPS

一旦語料庫變得真實,檢索增強產生(RAG)就不再是筆電上的 demo。向量索引需要記憶體,而您的 embeddings 就是您的私有資料。這裡給出規格測算,以及為什麼高記憶體、免 KYC的主機正合適。$55/月起。

在筆電上拿兩百份文件做的 RAG demo,感覺毫不費力。可一旦您把它對準一個真實的語料庫——一家公司的文件、多年的工單、一個真正的知識庫——整件事就變成了一個記憶體問題。不是 CPU 問題,是記憶體問題。

這裡有個大多數主機頁面都略過的點:**快速檢索需要把索引放在 RAM 裡。**每一塊文字都會變成一個 embedding——一個幾百到幾千個數字寬的向量——而搜尋意味著把您的查詢快速地與它們全部比對。放在磁碟上也能用,但每次查詢都要交一筆延遲稅,而低延遲檢索本來就是您選擇自建的原因。

老實算一算規格

去測您自己的語料庫——維度和索引型別會讓結果差很多——不過先給個大致感覺:

  • 幾十萬個 embeddings——2–4 GB。一個個人知識庫。這個用不著 Pro;小一點的方案就行。
  • 幾百萬個——加上應用、模型用戶端和周邊的作業系統,按 16–32 GB 來規劃。一個正經的公司知識庫。Pro-32 或 Pro-48 從這裡開始變得合理。
  • 幾千萬個,或高維向量——48 GB 起步,超過大約 80 GB 您就得把索引拆到多台伺服器上了。海量文件資產、多租戶檢索、同時有好幾個索引處於熱態。

如果您想看細節,我們在這裡寫出了完整的記憶體曲線。

為什麼高記憶體和免 KYC要湊在一起

租 48 GB 記憶體很容易。用加密貨幣、不做身分核驗地租下來就不容易了——大多數便宜賣大記憶體的主機商,背後都要一張信用卡和一份 KYC 表單。您的 embeddings 不是抽象的數字;它們編碼著自己來源的那些文字。您的文件、您客戶的內容,都變成了向量。如果這些資料敏感到您要私密付款的地步,那麼一個託管的向量雲會讓這一切前功盡棄——一個把伺服器綁到您身分上的主機商也一樣。

這一組合——高記憶體、獨立IP、加密貨幣、免 KYC、每晚備份——正是 Pro 系列的用武之地。它不是每 GB 最便宜的,如果您不需要隱私,別處能找到更便宜的記憶體。但如果索引就是您的產品、而且它不能外流,這就是合適的形態。

從哪裡開始

選一個能容下索引以及它周邊一切(應用、模型用戶端、增長空間)的方案。對大多數真實語料庫來說,那就是 Pro-48(48 GB);大的則上 Pro-64 或 Pro-80。先載入一個樣本,盯住記憶體,按您實測到的數字來定規格——而不是您擔心的那個數字。

如果您的檢索是一個更大的 AI 代理系統的一部分,同一台機器往往還會裝下整個代理叢集——一個 48 GB 的方案就是這樣悄悄變成 64 GB 的。

準備好部署了嗎?以加密貨幣付款,免 KYC——大約一分鐘上線。

立即部署 →

常見問題

我的 RAG 部署到底需要多少記憶體?

它隨 embedding 數量和向量寬度而變化。幾十萬個文字塊用 2–4 GB 就夠;幾百萬個,加上週邊的應用和作業系統,落在 16–32 GB;幾千萬個則會推到 48 GB 以上。先測一個樣本,盯住常駐記憶體,再外推——別往高了猜,那隻會讓您多付錢。

為什麼不用託管的向量服務?

人們真正自建的兩個理由:您的 embeddings 編碼著私有資料(文件、筆記、客戶內容),所以把它們放在一台您掌控的機器上很重要;另外成本是固定的——託管服務按向量數和查詢數計費,而 VPS 是一個每月固定的數字,您想怎麼壓榨都行。

用 pgvector 還是專用引擎?

如果您已經在跑 Postgres,pgvector 是最省事的路子——一個擴充搞定。對於要做大量過濾的百萬級向量,像 Qdrant 這樣的專用引擎值得單獨跑一個服務。先用您手頭已經在維運的東西;等到搜尋變慢了再拆分出去,別提前。

做 RAG 需要 GPU 嗎?

不需要。檢索是 CPU + RAM 的活兒——比對向量,而不是產生文字。產生那一步會去呼叫您的 LLM(一個 API,或者一台單獨的模型主機)。對於檢索這一半,高記憶體 CPU 伺服器正是合適的形態。

評論

目前還沒有評論。歡迎成為第一位。

發表評論

評論在顯示前會經過審核。