用於 Ollama 和本機 LLM 的 VPS

先把讓人掃興的部分說清楚，因為網際網路上滿是不肯這麼做的頁面。

我們的伺服器是純 CPU 的。我們不提供 GPU。 這意味著在這裡做本機 LLM 的活兒有一個硬頂，假裝不是這樣只會白白浪費您的錢。

CPU 上真正跑得動的東西

有了最多 6 vCPU 和 6 GB 記憶體（我們的 Medium 方案——$12/月），您就落在小型量化模型的範圍裡：

• 1B–3B 模型（Q4）： 真的可用。對分類、打標籤、路由和簡單的結構化抽取來說，夠快。
• 7B–8B 模型（Q4）： 能跑，但預期每秒幾個 token。對一個通宵嚼文件的佇列來說沒問題，當聊天視窗用就很痛苦。
• Embedding 模型： 絕佳契合。它們小、在 CPU 上快，而這大概是在我們這樣的機器上跑 Ollama 的最好理由。
• 13B 及以上： 別。您會一邊 swap 一邊等。

如果您需要一個快速、互動式的 70B 聊天，您需要的是一台 GPU 主機——那是另一家服務供應商的另一種產品，與其收您 $12，我們寧願告訴您這一點。

CPU 機器真正勝出的地方

隱私。 您的文件、您的提示詞、您的 embedding——永遠不離開一台您掌控的機器，永遠不會變成別人的訓練資料。對很多人來說這就是全部意義所在，每秒幾個 token 是可以接受的代價。

成本可預期。 沒有按 token 計費的帳單。一條給五萬條記錄分類的流水線，和給五十條分類的，花的錢一樣：$12。

非同步工作。 大多數有用的 LLM 活兒都不是聊天視窗。它是一個佇列：把這些做摘要、給那些打標籤、把這一堆語料做 embedding。一台 CPU 機器通宵磨掉一批積壓，幹這個恰恰很在行。

搭建

# Ubuntu 24.04 — Medium plan recommended
curl -fsSL https://ollama.com/install.sh | sh

# Start with something small and see for yourself
ollama pull llama3.2:3b
ollama run llama3.2:3b "Summarize this in one sentence: ..."

# Embeddings — the sweet spot for CPU
ollama pull nomic-embed-text
curl http://localhost:11434/api/embeddings \
  -d '{"model":"nomic-embed-text","prompt":"hello world"}'

Ollama 在 localhost:11434 上提供一個 HTTP API。把它留在那裡。如果您需要從別處連它，就在一個獨立IP方案上，把它放到一個帶認證的反向代理後面——永遠不要把一個未認證的模型端點暴露到開放的網際網路上。

把它和一個向量資料庫配起來（Docker 裡的 Qdrant 或 pgvector），您就在一台 $12 的機器上有了一整套私有 RAG 棧。那個組合——小型本機 embedding、本機向量庫、只在繁重的產生那一步用外部 API——才是在這種硬體上真正說得通的設定。

怎麼挑方案

純 CPU、最多 6 vCPU 和 6 GB 記憶體。NVMe 儲存、流量不限量，位於歐盟。加密貨幣付款，免 KYC。按年繳款就是一筆轉帳，而不是十二筆。

延伸閱讀

• 託管一個向量資料庫作 AI 記憶 —— 私有 RAG 棧的另一半
• 用於 AI 代理的 VPS —— 在同一台機器上做編排

準備好了？ 部署一台伺服器 → —— 約一分鐘內上線，加密貨幣付款，無需身分證件。

Open WebUI 專用 VPS：屬於您的大模型私密聊天介面 →