Open WebUI inahitaji RAM kiasi gani?

Open WebUI yenyewe hufanya kazi na takriban 1 GB. Kama inazungumza na API za mbali pekee, mpango wa 2 GB unatosha. Kinachohitaji memory ni models za ndani kupitia Ollama — 4 GB kwa models ndogo za 3B, 6 GB au zaidi kwa models za 7–8B.

Naweza kuendesha models za ndani kwenye VPS isiyo na GPU?

Ndiyo, kwa matarajio ya kweli. Models ndogo zilizo quantized hujibu kwenye CPU kwa kasi ya tokens chache kwa sekunde. Inafaa kwa kazi fupi na majaribio binafsi, si kwa gumzo la haraka lenye majibu marefu.

Naweza kuitumia kwenye mpango wa NAT?

Ndiyo, kupitia SSH tunnel kwenye port yako binafsi ya SSH. Kwa anwani ya HTTPS ya umma ambayo timu yako itaifungua kwenye browser, unahitaji mpango wenye IP maalum.

Nani anaweza kuunda akaunti?

Akaunti ya kwanza kujisajili inakuwa msimamizi. Baada ya hapo, weka usajili mpya kwenye hali ya kusubiri au uuzime kwenye mipangilio ya msimamizi, la sivyo yeyote atakayepata URL ataweza kuunda akaunti.

Mazungumzo yangu yanahifadhiwa wapi?

Kwenye volume ya Docker ndani ya seva yako. Hakuna kinachoenda kwa mtu wa tatu, isipokuwa prompts unazotuma kwa API ya model uliyounganisha.

VPS kwa Open WebUI: kiolesura binafsi cha gumzo kwa LLM

Weka Open WebUI kwenye VPS kama kiolesura binafsi cha gumzo kwa API yoyote inayoendana na OpenAI au models za Ollama za ndani: Docker, ufikiaji salama na kuchagua ukubwa.

Unatumia watoa huduma watatu tofauti wa models, kila mmoja na dirisha lake la gumzo, usajili wake na historia yake. Open WebUI inawaweka wote nyuma ya kiolesura kimoja unachojiwekea mwenyewe: chagua model kwa kila mazungumzo, hifadhi historia yote kwenye seva yako, ishiriki na timu yako, na unganisha models za ndani pale ambapo hakuna kitu kinachopaswa kutoka kwenye mashine.

Njia mbili za kuiendesha

Kama kiolesura cha API. Open WebUI huunganisha na API yoyote inayoendana na OpenAI — watoa huduma waliowekwa mtandaoni, LiteLLM proxy, au endpoint yako mwenyewe. Seva karibu haifanyi kazi yoyote; mpango mdogo unatosha kupita kiasi.

Pamoja na models za ndani. Ongeza Ollama kwenye seva ileile na uendeshe models za open-weight ndani yake. Sasa RAM ndio kikwazo, na inference kwenye CPU ni ya polepole. Mapatano ya kweli: faragha kamili, kasi ya wastani.

Mipangilio	Mpango
Kiolesura cha API, matumizi binafsi	Micro — 1 vCPU, 2 GB, $5/mwezi (SSH tunnel)
Kiolesura cha API, ufikiaji wa timu kupitia HTTPS	Micro-IP — 1 vCPU, 2 GB, $10/mwezi
Models za ndani za 3B kupitia Ollama	AI-Agent — 2 vCPU, 4 GB, $10/mwezi
Models za ndani za 7–8B	Medium — 4 vCPU, 6 GB, $12/mwezi, au mipango ya Pro kwa kubwa zaidi

Kusakinisha kwa Docker

Kwenye seva yenye Docker iliyosakinishwa:

docker run -d --name open-webui --restart always \
  -p 127.0.0.1:3000:8080 \
  -v open-webui:/app/backend/data \
  ghcr.io/open-webui/open-webui:main

Kuifunga kwenye 127.0.0.1 kunaiweka mbali na intaneti ya umma hadi utakapoamua jinsi ya kuifungua. Gumzo, watumiaji na mipangilio huishi ndani ya volume ya open-webui.

Ifikie kwa usalama

SSH tunnel — inafanya kazi kwenye mipango yote, pamoja na NAT:

ssh -p 22 -N -L 3000:127.0.0.1:3000 you@203.0.113.10

Fungua http://localhost:3000. Kwenye mpango wa NAT, tumia port yako binafsi ya SSH.

HTTPS kwenye domain yako — kwa timu iliyo kwenye mpango wenye IP maalum. Elekeza subdomain kwenye seva (mwongozo) na uiweke nyuma ya nginx, pamoja na headers za WebSocket:

location / {
    proxy_pass http://127.0.0.1:3000;
    proxy_set_header Host $host;
    proxy_set_header Upgrade $http_upgrade;
    proxy_set_header Connection upgrade;
    proxy_read_timeout 300s;
}

Kisha endesha certbot --nginx -d chat.example.com. Timeout ndefu ya kusoma ni muhimu: models za polepole hutiririsha majibu kwa dakika kadhaa.

Hatua za kwanza ndani

Jisajili mara moja. Akaunti ya kwanza inakuwa msimamizi. Usiache usakinishaji mpya wazi kwa umma — mtu mwingine anaweza kuuchukua.
Funga usajili. Mipangilio ya msimamizi → weka jukumu chaguo-msingi la watumiaji wapya kuwa la kusubiri, au zima usajili.
Ongeza muunganisho. Mipangilio → Miunganisho → bandika base URL ya API na ufunguo. Models za mtoa huduma huyo zitaonekana kwenye kichaguzi cha model.

Kuongeza models za ndani

Sakinisha Ollama kwenye host (mwongozo wetu), pakua model ndogo, na uanzishe Open WebUI kwa namna inayoiwezesha kuifikia:

ollama pull llama3.2:3b
docker rm -f open-webui
docker run -d --name open-webui --restart always \
  -p 127.0.0.1:3000:8080 --add-host=host.docker.internal:host-gateway \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data ghcr.io/open-webui/open-webui:main

Volume huhifadhi gumzo zako baada ya kuanzisha upya. Tarajia tokens chache kwa sekunde kwenye CPU — nzuri kwa muhtasari na maelezo binafsi, polepole kwa maandishi marefu. Kwa inference nzito zaidi ya ndani, tazama VPS kwa Ollama.

Inafaa kujua

Masasisho ni ya mara kwa mara. docker pull ghcr.io/open-webui/open-webui:main, kisha unda upya container. Fanya backup ya volume kwanza.
Gharama za API ni zako. Kwa chaguo-msingi Open WebUI haiweki kikomo cha matumizi kwa kila mtumiaji; fuatilia matumizi ukiishiriki na timu.
Ni programu ya gumzo, si model. Ubora wa majibu unategemea kabisa model iliyo nyuma yake.

Mipaka ya mipango na upandishaji viko kwenye nyaraka za mipango.