EQVPS

VPS に Ollama をインストールする方法(そして API を呼ぶ)

VPS に Ollama をインストールし、小さなモデルを取得し、HTTP API を呼び出す——これらは CPU マシンなので、小さな量子化モデルと埋め込みにとどめるべきという正直な注記付き。コピペコマンドと、安全に公開する方法。

Ollama はローカルモデルの実行を1行のインストールにします。これはハウツーです。CPU 推論に何ができて何ができないか(そして RAG のスイートスポット)の正直な姿は、Ollama 向け VPS ユースケースOllama をセルフホスト を参照してください。

1. Ollama をインストールする

curl -fsSL https://ollama.com/install.sh | sh

これで Ollama がインストールされ、localhost:11434 で待ち受ける systemd サービスとして起動します。

2. 小さなモデルを取得して実行する

CPU マシンでは小さく始めます:

ollama pull llama3.2:3b
ollama run llama3.2:3b "Summarize this in one sentence: ..."

3B モデルは CPU で本当に使えます。7〜8B は毎秒数トークンで動きます(バッチには良いが、チャットにはつらい)。13B+ はスワップして這うように遅くなります——やめましょう。

3. HTTP API を呼ぶ

curl http://localhost:11434/api/generate \
  -d '{"model":"llama3.2:3b","prompt":"ping","stream":false}'

埋め込みは CPU のスイートスポットです:

ollama pull nomic-embed-text
curl http://localhost:11434/api/embeddings \
  -d '{"model":"nomic-embed-text","prompt":"hello world"}'

4. localhost にとどめる——必要なら安全に公開する

Ollama は既定で 127.0.0.1:11434 にバインドします。そのままにしてください。 別のマシンから到達する必要があるなら、専用 IP プラン で認証付きリバースプロキシを前に置くか(nginx + HTTPS ガイド)、SSH トンネルを使います——認証のないモデルのエンドポイントを決して公に公開しないでください。

正直な部分

これらは CPU のみ のインスタンスです(GPU なし)。小さな量子化モデルと埋め込みはよく動きます。大きなモデルは動きません。Ollama を プライベート RAG スタック向けのベクトル DB と組み合わせましょう——小さなローカル埋め込みとローカルのベクトルストアが、ここで本当に輝く構成です。Medium(月 $12、6 GB) が快適なプランです。約1分で root、KYC なし、暗号資産で支払い。

よくある質問

VPS に Ollama をどうインストールしますか?

1コマンド:curl -fsSL https://ollama.com/install.sh | sh。次に小さなモデルを ollama pull して ollama run するか、localhost:11434 で HTTP API を呼びます。手順は下にあります。CPU の VPS では小さな量子化モデル(1B〜8B)と埋め込みにとどめてください——大きなモデルには GPU が要ります。

CPU の VPS でモデルは速いですか?

小さいものは速く、大きいものは遅いです。4ビット量子化の7〜8Bモデルで毎秒数トークン、1〜3Bモデルや埋め込みモデルでは本当にキビキビした性能を見込めます。バックグラウンドジョブ、分類、RAG パイプラインには最適——大きなモデルでの速い対話チャットには向きません。

Ollama の API をインターネットに公開すべき?

いいえ。localhost:11434 のままにしてください。リモートアクセスが必要なら、専用 IP プランで認証付きリバースプロキシの背後に置くか、SSH トンネルで到達します。認証のないモデルのエンドポイントを決してオープンなインターネットに公開しないでください。

どのプランが必要ですか?

当社の Medium(月 $12、6 GB)は小さなモデルと埋め込みに快適です。Small($8)は1〜3Bモデルのテストに使えます。これらは CPU のみのインスタンス——GPU なし——なので、速度を期待するのではなく、モデルの RAM フットプリントでサイズを決めてください。

身分証やカードは要りますか?

いいえ。登録にメール、支払いは USDC または USDT——書類なし、カードなし。

コメント

まだコメントはありません。最初になりましょう。

コメントを残す

コメントは表示される前にモデレートされます。