Bir VPS'te Ollama nasıl kurulur (ve API'si nasıl çağrılır)

Bir VPS'te Ollama kur, küçük bir model çek ve HTTP API'sini çağır — bunların CPU makineleri olduğu dürüst notuyla, o yüzden küçük nicemlenmiş modellere ve gömülemelere sadık kal. Kopyala-yapıştır komutlar ve onu güvenle nasıl açacağın.

Ollama yerel bir modeli çalıştırmayı tek satırlık bir kuruluma dönüştürür. Bu, nasıl-yapılır rehberidir; CPU çıkarımının neyi yapıp neyi yapamayacağının dürüst tablosu (ve RAG'in tatlı noktası) için Ollama için VPS kullanım senaryosuna ve Ollama'yı kendin barındırmaya bak.

1. Ollama'yı kur

curl -fsSL https://ollama.com/install.sh | sh

Bu, Ollama'yı kurar ve localhost:11434'te dinleyen bir systemd hizmeti olarak başlatır.

2. Küçük bir model çek ve çalıştır

Bir CPU makinesinde küçük başla:

ollama pull llama3.2:3b
ollama run llama3.2:3b "Summarize this in one sentence: ..."

3B modeller CPU'da gerçekten kullanılabilir; 7–8B saniyede birkaç token'la çalışır (batch için iyi, sohbet için eziyet); 13B+ takas eder ve sürünür — yapma.

3. HTTP API'yi çağır

curl http://localhost:11434/api/generate \
  -d '{"model":"llama3.2:3b","prompt":"ping","stream":false}'

Gömülemeler CPU'nun tatlı noktasıdır:

ollama pull nomic-embed-text
curl http://localhost:11434/api/embeddings \
  -d '{"model":"nomic-embed-text","prompt":"hello world"}'

4. localhost'ta tut — gerekirse güvenle aç

Ollama varsayılan olarak 127.0.0.1:11434'e bağlanır. Orada bırak. Başka bir makineden erişmen gerekirse, önüne bir ayrılmış IP planında kimlik doğrulamalı bir ters proxy koy (nginx + HTTPS rehberi) ya da bir SSH tüneli kullan — kimlik doğrulamasız bir model uç noktasını asla herkese açık şekilde açma.

Dürüst kısım

Bunlar yalnızca CPU örnekleridir (GPU yok). Küçük nicemlenmiş modeller ve gömülemeler iyi çalışır; büyükler çalışmaz. Ollama'yı özel bir RAG yığını için bir vektör veritabanıyla eşle — küçük yerel gömülemeler artı yerel bir vektör deposu, burada gerçekten parlayan kurulumdur. Medium (aylık 12$, 6 GB) rahat plandır. Yaklaşık bir dakikada root, KYC yok, kripto ile ödeme.

SSS

Bir VPS'te Ollama'yı nasıl kurarım?

Tek komut: curl -fsSL https://ollama.com/install.sh | sh. Sonra ollama pull ile küçük bir model çek ve ollama run ile çalıştır, ya da localhost:11434'te HTTP API'yi çağır. Adımlar aşağıda. Bir CPU VPS'te küçük nicemlenmiş modellere (1B–8B) ve gömülemelere sadık kal — büyük modeller GPU ister.

Modeller bir CPU VPS'te hızlı olur mu?

Küçükler evet, büyükler hayır. 4 bit nicemlemeli bir 7–8B modelde saniyede birkaç token, 1–3B modellerde ve gömüleme modellerinde gerçekten hızlı bir performans bekle. Arka plan işleri, sınıflandırma ve RAG hatları için harika — büyük bir modelde hızlı etkileşimli sohbet için değil.

Ollama API'sini internete açmalı mıyım?

Hayır. Onu localhost:11434'te tut. Uzaktan erişim gerekirse, onu ayrılmış IP planında kimlik doğrulamalı bir ters proxy'nin arkasına koy ya da bir SSH tüneliyle eriş. Kimlik doğrulamasız bir model uç noktasını asla açık internete açma.

Hangi plana ihtiyacım var?

Medium planımız (aylık 12$, 6 GB) küçük modellere ve gömülemelere rahat uyar; Small (8$) 1–3B modelleri denemeye yarar. Bunlar yalnızca CPU örnekleridir — GPU yok — o yüzden hıza güvenerek değil, modelin RAM ayak izine göre boyutlandır.

Kimlik ya da kart istiyor musunuz?

Hayır. Kaydolmak için bir e-posta, USDC veya USDT ile ödeme — belge yok, kart yok.

Yorumlar

Henüz yorum yok. İlk olun.