用 Ollama 在 VPS 上自建本機 LLM——什麼真的可行

把每個提示都發給別人的 API 沒問題——直到它有問題。也許資料敏感，您寧願它永不離開您的伺服器。也許您厭倦了速率限制、或一個模型版本在您腳下改變、或您在做實驗時一個按 token 的計價器在滴答走。到某個點，「要是我乾脆跑自己的呢？」就不再是個思想實驗。

Ollama 讓那件事真的很容易。更難的問題是什麼能裝進一台 VPS——而這裡誠實的答案比炒作更重要。

在 CPU 上您實際能跑什麼

沒有 GPU？那您在做 CPU 推理，模型大小就是一切。量化（把權重壓到 4-bit）是讓這變得實際的關鍵——您損失一絲品質，省下一大堆記憶體。

大致數字，要緊的那些：

• 3B 模型，4-bit —— 約 3 GB RAM。對聊天和簡單任務夠利落。
• 7B 模型，4-bit —— 約 5 GB RAM。甜點：明顯更聰明，還能以可讀的速度跑。
• 13B 及以上 —— 8-10 GB+，在 CPU 上慢。技術上可行，實際上讓人惱火。

說實話的速度：在幾個 vCPU 上您會看到每秒幾個 token。對一個聊天機器人或編碼助手——您邊讀它邊打字——完全沒問題。對批處理一百萬份文件就不行了——那是 GPU 的活，我們不假裝不是。我們不提供 GPU 執行個體。 如果您的計畫需要一個 70B 模型或重吞吐，一台 CPU VPS——我們的還是別家的——都是錯的工具，您該在花一分錢之前就知道這點。

但一個回答您問題、從不往家打電話的私有 7B？那在一台 6 GB 的機器上跑得很舒服。

安裝——三條指令

開一台伺服器，SSH 進去，然後：

curl -fsSL https://ollama.com/install.sh | sh   # 安裝 Ollama
ollama run llama3.2:3b                            # 拉取 + 執行一個 3B 模型

就這樣——您已經在終端裡聊天了。要從您自己的程式碼裡用它，Ollama 已經在 11434 埠上提供一個 HTTP API：

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2:3b",
  "prompt": "Summarize this changelog in two lines: ...",
  "stream": false
}'

一個值得先知道的坑：預設那個 API 綁在 localhost 上。保持這樣、透過 SSH 通道用，否則它就暴露到公用了。如果您想讓它可達，把它放到驗證後面——別在公用 IP 上留一個開放的模型端點。

挑機器

讓方案配模型，而不是反過來：

對多數自託管者，Medium (6 GB) 是誠實的推薦——給一個 7B 模型加您的應用和作業系統留足餘量。Small (4 GB) 在您只用 3B 時可行。再低的，一旦作業系統和上下文吃進去就太緊了。

為什麼在這裡做

如果您在自託管一個 LLM，隱私通常是一半的理由——所以為了租機器交出您的證件就很奇怪。您不必：您能用 USDC 或 USDT 付款（或透過 on-ramp 用信用卡），免 KYC，約一分鐘伺服器就是您的了。加密原生、對代理友好，資料留在一台您掌控的機器上。

取捨就是我們一直誠實說的那個：只有 CPU、標準方案最高 6 GB（Pro 系列最高 80 GB，同樣只有 CPU）、小模型。在這之內，自託管很棒。在這之外，別讓任何人拿一台 CPU 機器賣給您一個需要 GPU 的活。

想試試？挑一個方案、付款，您大約 60 秒就有 root——然後三條指令就到您自己的私有模型。