როგორ დავაინსტალიროთ Ollama VPS-ზე (და გამოვიძახოთ მისი API)

დააინსტალე Ollama VPS-ზე, ჩამოწიე პატარა მოდელი და გამოიძახე მისი HTTP API — გულახდილი შენიშვნით, რომ ესენი CPU მანქანებია, ამიტომ დარჩი პატარა კვანტიზებულ მოდელებსა და embeddings-ზე. copy-paste ბრძანებები და როგორ გავამჟღავნოთ ის უსაფრთხოდ.

Ollama ლოკალური მოდელის გაშვებას ერთ-ხაზიან ინსტალაციად აქცევს. ეს არის how-to; გულახდილი სურათისთვის, თუ რას შეუძლია და რას არ შეუძლია CPU ინფერენსს (და RAG-ის ტკბილი წერტილი) იხ. VPS Ollama-სთვის გამოყენების ქეისი და Ollama-ს self-host.

1. დააინსტალე Ollama

curl -fsSL https://ollama.com/install.sh | sh

ეს აინსტალებს Ollama-ს და უშვებს მას როგორც systemd სერვისს, რომელიც უსმენს localhost:11434-ზე.

2. ჩამოწიე და გაუშვი პატარა მოდელი

CPU მანქანაზე პატარადან დაიწყე:

ollama pull llama3.2:3b
ollama run llama3.2:3b "Summarize this in one sentence: ..."

3B მოდელები მართლა გამოსადეგია CPU-ზე; 7–8B რამდენიმე ტოკენი/წამში მუშაობს (კარგია batch-ისთვის, მტკივნეული ჩატისთვის); 13B+ swap-ს გააკეთებს და დაცოცავს — ნუ გააკეთებ.

3. გამოიძახე HTTP API

curl http://localhost:11434/api/generate \
  -d '{"model":"llama3.2:3b","prompt":"ping","stream":false}'

embeddings არის CPU-ს ტკბილი წერტილი:

ollama pull nomic-embed-text
curl http://localhost:11434/api/embeddings \
  -d '{"model":"nomic-embed-text","prompt":"hello world"}'

4. დატოვე localhost-ზე — საჭიროებისას გამოამჟღავნე უსაფრთხოდ

Ollama ნაგულისხმევად უკავშირდება 127.0.0.1:11434-ს. დატოვე იქ. თუ სხვა მანქანიდან მისვლა გჭირდება, დააყენე autь-ის მქონე reverse proxy მის წინ გამოყოფილი-IP გეგმაზე (nginx + HTTPS გზამკვლევი) ან გამოიყენე SSH გვირაბი — არასდროს გამოამჟღავნო აუთენტიფიკაციის გარეშე მოდელის endpoint საჯაროდ.

გულახდილი ნაწილი

ესენი მხოლოდ-CPU ინსტანსებია (GPU არა). პატარა კვანტიზებული მოდელები და embeddings კარგად მუშაობს; დიდები არა. დააწყვილე Ollama პირადი RAG სტეკისთვის vector DB-სთან — პატარა ლოკალური embeddings პლუს ლოკალური vector store არის კონფიგურაცია, რომელიც აქ მართლა ბრწყინავს. Medium ($12/თვე, 6 GB) კომფორტული გეგმაა. root დაახლოებით ერთ წუთში, KYC-ის გარეშე, გადახდა კრიპტოთი.

ხდკ

როგორ დავაინსტალირო Ollama VPS-ზე?

ერთი ბრძანება: curl -fsSL https://ollama.com/install.sh | sh. შემდეგ ollama pull პატარა მოდელი და ollama run, ან გამოიძახე HTTP API localhost:11434-ზე. ნაბიჯები ქვემოთაა. CPU VPS-ზე დარჩი პატარა კვანტიზებულ მოდელებზე (1B–8B) და embeddings-ზე — დიდ მოდელებს GPU სჭირდება.

მოდელები სწრაფი იქნება CPU VPS-ზე?

პატარები კი, დიდები არა. მოელოდე რამდენიმე ტოკენს წამში 7–8B მოდელზე 4-ბიტიან კვანტიზაციაზე, და მართლა სწრაფ წარმადობას 1–3B მოდელებზე და embedding მოდელებზე. შესანიშნავია ფონურ სამუშაოებზე, კლასიფიკაციასა და RAG მილსადენებზე — არა დიდ მოდელზე სწრაფ ინტერაქტიულ ჩატზე.

უნდა გავამჟღავნო Ollama-ს API ინტერნეტში?

არა. დატოვე localhost:11434-ზე. თუ დისტანციური წვდომა გჭირდება, დააყენე ის aut-ის მქონე reverse proxy-ს უკან გამოყოფილი-IP გეგმაზე, ან მიწვდი SSH გვირაბით. არასდროს გამოამჟღავნო აუთენტიფიკაციის გარეშე მოდელის endpoint ღია ინტერნეტში.

რომელი გეგმა მჭირდება?

ჩვენი Medium ($12/თვე, 6 GB) კომფორტულად შეეფერება პატარა მოდელებსა და embeddings-ს; Small ($8) გამოდგება 1–3B მოდელების ტესტირებისთვის. ესენი მხოლოდ-CPU ინსტანსებია — GPU არა — ამიტომ ზომა აირჩიე მოდელის RAM კვალით, არა სიჩქარის იმედით.

ითხოვთ პირადობას ან ბარათს?

არა. ელფოსტა რეგისტრაციისთვის, გადახდა USDC-ით ან USDT-ით — დოკუმენტების გარეშე, ბარათის გარეშე.

კომენტარები

ჯერ არ არის კომენტარები. იყავით პირველი.