用於私有高記憶體 LLM 推理的 VPS

我們有一個專門講 Ollama 和小模型的頁面——那是一台 $12 的 CPU 伺服器，跑 1B–8B 和 embeddings。本頁講的是另一端：那些大到讓 RAM（而不是 CPU）成為瓶頸的模型。

先把話說在前頭，跟別處一樣：**我們的伺服器只有 CPU，沒有 GPU。**大模型在這裡跑得慢。如果您要在 30B 模型上做快速的互動式對話，您需要一台 GPU 主機——那是另一種產品、另一家服務供應商。高記憶體 CPU 伺服器真正擅長的，是私密地執行一個大的量化模型，去做那些不是聊天視窗的工作。

記憶體這筆帳

模型（無論是否量化）都得放進記憶體，再加上上下文和執行時的開銷：

• 13B、4-bit——大約 10–16 GB。用一箇中檔方案就能跑。
• 30B 級、量化後——視量化程度而定，24–48 GB。這是 Pro-32 到 Pro-64 的地盤。
• 更大或更高精度——64–80 GB，超過 80 GB 我們沒有單台機器裝得下。Pro-80 就是這裡的天花板。

所以「跑一個更大的本機模型」本質上是個高記憶體的問題。模型本身就是那份記憶體佔用。在同一台主機上再加一個 RAG 索引，數字還會往上疊。

私有優先真正取勝的地方

關鍵不是速度，也不是成本——而是有些資料不能外流。法律檔案。醫療記錄。專有程式碼。任何把 prompt 發給第三方 API 都不可接受的場景。一個完全在您自己機器上執行的慢模型，勝過一個把您所傳送的一切都記錄下來的快模型。我們在這裡寫了完整的分析。

而且如果資料敏感到這個地步，付款大概也應該是私密的。用加密貨幣、免 KYC租下這台機器，能讓整條鏈——伺服器、模型、prompt、帳單——都不落到任何人的身分記錄裡。這就是賣點：不是更便宜的推理，而是別人看不到的推理。

怎麼選

對於一個 30B 級、還要留出上下文空間的模型，Pro-64（64 GB）是舒適之選；更激進的量化能塞進 Pro-32 或 Pro-48，更大的則上 Pro-80。先把模型載入起來，盯住常駐記憶體，按您實測到的數字來定規格。也要擺正預期：這是私有的批處理推理，不是快速的聊天視窗。