VPS Open WebUI-ისთვის: პირადი ჩატის ინტერფეისი LLM-ებისთვის

სამ სხვადასხვა მოდელის პროვაიდერს იყენებთ, თითოეულს საკუთარი ჩატის ფანჯრით, გამოწერითა და ისტორიით. Open WebUI მათ ერთ ინტერფეისში აერთიანებს, რომელსაც თავად განათავსებთ: თითოეული საუბრისთვის აირჩიეთ მოდელი, მთელი ისტორია თქვენს სერვერზე შეინახეთ, გუნდს გაუზიარეთ და ლოკალური მოდელები შეაერთეთ, როცა არაფერი უნდა გავიდეს მანქანიდან.

გამოყენების ორი გზა

როგორც ინტერფეისი API-ებისთვის. Open WebUI ნებისმიერ OpenAI-თავსებად API-ს უკავშირდება — განთავსებულ პროვაიდერებს, LiteLLM-პროქსის ან თქვენს საკუთარ endpoint-ს. სერვერი თითქმის არაფერს აკეთებს; პატარა გეგმა საკმარისზე მეტია.

ლოკალურ მოდელებთან ერთად. დაამატეთ Ollama იმავე სერვერზე და ღია წონების მოდელები ლოკალურად გაუშვით. ახლა შეზღუდვა RAM-ია, CPU-ზე დასკვნა კი ნელია. პატიოსანი კომპრომისი: სრული კონფიდენციალურობა, ზომიერი სიჩქარე.

ინსტალაცია Docker-ით

სერვერზე დაინსტალირებული Docker-ით:

docker run -d --name open-webui --restart always \
  -p 127.0.0.1:3000:8080 \
  -v open-webui:/app/backend/data \
  ghcr.io/open-webui/open-webui:main

127.0.0.1-ზე მიბმა მას საჯარო ინტერნეტს აშორებს, სანამ არ გადაწყვეტთ, როგორ გახსნათ. ჩატები, მომხმარებლები და პარამეტრები open-webui ვოლიუმში ცხოვრობს.

უსაფრთხო წვდომა

SSH-გვირაბი — მუშაობს ყველა გეგმაზე, NAT-ის ჩათვლით:

ssh -p 22 -N -L 3000:127.0.0.1:3000 you@203.0.113.10

გახსენით http://localhost:3000. NAT-გეგმაზე თქვენი პირადი SSH-პორტი გამოიყენეთ.

HTTPS თქვენს დომენზე — გუნდისთვის გამოყოფილი IP-ის გეგმაზე. მიმართეთ ქვედომენი სერვერზე (სახელმძღვანელო) და გაატარეთ nginx-ით, WebSocket-ის სათაურების ჩათვლით:

location / {
    proxy_pass http://127.0.0.1:3000;
    proxy_set_header Host $host;
    proxy_set_header Upgrade $http_upgrade;
    proxy_set_header Connection upgrade;
    proxy_read_timeout 300s;
}

შემდეგ გაუშვით certbot --nginx -d chat.example.com. კითხვის გრძელ ტაიმაუტს მნიშვნელობა აქვს: ნელი მოდელები პასუხებს წუთობით სტრიმავენ.

პირველი ნაბიჯები შიგნით

1. დაუყოვნებლივ დარეგისტრირდით. პირველი ანგარიში ადმინისტრატორი ხდება. ახალ ინსტალაციას საჯაროდ ნუ დატოვებთ — სხვამ შეიძლება მიითვისოს.
2. დახურეთ რეგისტრაცია. ადმინისტრატორის პარამეტრები → ახალი მომხმარებლების ნაგულისხმევი როლი მოლოდინზე დააყენეთ, ან რეგისტრაცია გამორთეთ.
3. დაამატეთ კავშირი. პარამეტრები → კავშირები → ჩასვით API-ის საბაზისო URL და გასაღები. ამ პროვაიდერის მოდელები მოდელის ამრჩევში გამოჩნდება.

ლოკალური მოდელების დამატება

დააინსტალირეთ Ollama ჰოსტზე (ჩვენი სახელმძღვანელო), ჩამოტვირთეთ პატარა მოდელი და გაუშვით Open WebUI ისე, რომ მასთან მიწვდეს:

ollama pull llama3.2:3b
docker rm -f open-webui
docker run -d --name open-webui --restart always \
  -p 127.0.0.1:3000:8080 --add-host=host.docker.internal:host-gateway \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data ghcr.io/open-webui/open-webui:main

ვოლიუმი გადატვირთვისას თქვენს ჩატებს ინახავს. CPU-ზე წამში რამდენიმე ტოკენი მოელით — რეზიუმეებისა და პირადი ჩანაწერებისთვის კარგია, გრძელი ტექსტებისთვის ნელი. უფრო მძიმე ლოკალური დასკვნისთვის იხილეთ VPS Ollama-სთვის.

ღირს ცოდნა

• განახლებები ხშირია. docker pull ghcr.io/open-webui/open-webui:main, შემდეგ კონტეინერი ხელახლა შექმენით. ჯერ ვოლიუმის ასლი აიღეთ.
• API-ის ხარჯები თქვენია. Open WebUI ნაგულისხმევად მომხმარებლის მიხედვით გამოყენებას არ ზღუდავს; თუ გუნდს უზიარებთ, ხარჯებს თვალი ადევნეთ.
• ეს ჩატის აპლიკაციაა და არა მოდელი. პასუხების ხარისხი სრულად მის უკან მდგომ მოდელზეა დამოკიდებული.

გეგმების ლიმიტები და განახლებები გეგმების დოკუმენტაციაშია.