私密地託管本機 LLM 推理：一台 CPU VPS 能做什麼、不能做什麼

先說實話：如果您想要快速、便宜、高品質的產生，去調一個 API。一台 CPU VPS 打不過一整機房的 GPU，任何跟您說反話的人都在賣東西。

那到底為什麼要自託管推理？一個理由，而且是個好理由：您伺服器上的模型從不把您的提示詞發到任何地方。

CPU 推理實際是什麼樣

您能在有足夠 RAM 的 CPU 上跑真實的模型。一個量化到 4-bit 的 7–8B 模型能行。一個 13B 能行。如果您有記憶體，您甚至能推一個 30B 級別的模型。您做不到的是讓它快——輸出以每秒幾個 token 來，而不是 API 給您的那種即時的流。

那是誠實的取捨。對互動式聊天讓人上火。對後台工作——連夜總結文件、給一個佇列分類、按計畫豐富資料——每秒幾個 token 完全沒問題，也沒人盯著表。

RAM 的算帳

模型得坐在記憶體裡，量化與否，再加上上下文和執行時的開銷：

• 7–8B，4-bit —— 大約 6–8 GB。在一箇中檔方案上跑。
• 13B，4-bit —— 大概 10–16 GB。
• 30B 級別，量化 —— 24–48 GB，視量化而定。
• 更大、或更高精度 —— 您很快就到 64–80 GB——過了 80 GB 沒有單台 Pro 機器裝得下，而且仍然 CPU-慢。

這就是為什麼「跑一個本機模型」悄悄變成一個大記憶體問題。模型就是那份記憶體佔用。在同一台機器上加一個 RAG 索引或代理，數字就疊起來。

Ollama 與 vLLM，簡述

Ollama 是簡單的進門——安裝、ollama run、完事。對一個您只想讓模型可用的私有單使用者設定，它是對的工具。vLLM 是為服務吞吐而建的：設定更多、在同時執行負載下更好、當您真的在處理量時值得。從 Ollama 開始；服務真實流量時再上 vLLM。

隱私優先在哪裡真正勝出

自託管推理的理由不是速度或成本——而是有些資料不能離開。法律檔案。醫療記錄。專有程式碼。任何因政策或信任原因不能把提示詞發給第三方 API 的東西。一個完全跑在您機器上的更慢模型，勝過一個記錄您發給它的一切的快模型。

而如果資料那麼敏感，付款大概也該是私密的。用加密貨幣、免 KYC 租下機器，讓整條鏈——伺服器、模型、提示詞、帳單——都在任何人的身分記錄之外。那才是真正的賣點：不是「更便宜的推理」，而是「沒人能看到的推理」。

一句話

要速度和品質，用 API——不丟人。當隱私是要求、更慢可接受時自託管。按模型加它的上下文加機器上共享的別的東西來設定，別指望 CPU 有 GPU 的速度。

當模型需要真實的記憶體，Pro 系列跑 32 到 80 GB，帶獨立IP 和每夜備份——足以放下一個正經的量化模型，周圍還有放上下文的空間。