在筆電上拿兩百份文件做的 RAG demo,感覺毫不費力。可一旦您把它對準一個真實的語料庫——一家公司的文件、多年的工單、一個真正的知識庫——整件事就變成了一個記憶體問題。不是 CPU 問題,是記憶體問題。
這裡有個大多數主機頁面都略過的點:**快速檢索需要把索引放在 RAM 裡。**每一塊文字都會變成一個 embedding——一個幾百到幾千個數字寬的向量——而搜尋意味著把您的查詢快速地與它們全部比對。放在磁碟上也能用,但每次查詢都要交一筆延遲稅,而低延遲檢索本來就是您選擇自建的原因。
老實算一算規格
去測您自己的語料庫——維度和索引型別會讓結果差很多——不過先給個大致感覺:
- 幾十萬個 embeddings——2–4 GB。一個個人知識庫。這個用不著 Pro;小一點的方案就行。
- 幾百萬個——加上應用、模型用戶端和周邊的作業系統,按 16–32 GB 來規劃。一個正經的公司知識庫。Pro-32 或 Pro-48 從這裡開始變得合理。
- 幾千萬個,或高維向量——48 GB 起步,超過大約 80 GB 您就得把索引拆到多台伺服器上了。海量文件資產、多租戶檢索、同時有好幾個索引處於熱態。
如果您想看細節,我們在這裡寫出了完整的記憶體曲線。
為什麼高記憶體和免 KYC要湊在一起
租 48 GB 記憶體很容易。用加密貨幣、不做身分核驗地租下來就不容易了——大多數便宜賣大記憶體的主機商,背後都要一張信用卡和一份 KYC 表單。您的 embeddings 不是抽象的數字;它們編碼著自己來源的那些文字。您的文件、您客戶的內容,都變成了向量。如果這些資料敏感到您要私密付款的地步,那麼一個託管的向量雲會讓這一切前功盡棄——一個把伺服器綁到您身分上的主機商也一樣。
這一組合——高記憶體、獨立IP、加密貨幣、免 KYC、每晚備份——正是 Pro 系列的用武之地。它不是每 GB 最便宜的,如果您不需要隱私,別處能找到更便宜的記憶體。但如果索引就是您的產品、而且它不能外流,這就是合適的形態。
從哪裡開始
選一個能容下索引以及它周邊一切(應用、模型用戶端、增長空間)的方案。對大多數真實語料庫來說,那就是 Pro-48(48 GB);大的則上 Pro-64 或 Pro-80。先載入一個樣本,盯住記憶體,按您實測到的數字來定規格——而不是您擔心的那個數字。
如果您的檢索是一個更大的 AI 代理系統的一部分,同一台機器往往還會裝下整個代理叢集——一個 48 GB 的方案就是這樣悄悄變成 64 GB 的。
評論
目前還沒有評論。歡迎成為第一位。