Изпращането на всеки промпт към API на някой друг е наред — докато не е. Може данните да са чувствителни и да предпочиташ никога да не напускат сървъра ти. Може да си уморен от rate limits, или от версия на модел, променяща се под краката ти, или от брояч на токен, тиктакащ, докато експериментираш. В някакъв момент „ами ако просто пусна свой?“ спира да е мисловен експеримент.
Ollama прави това генуинно лесно. По-трудният въпрос е какво се събира на VPS — и тук честният отговор има повече значение от хайпа.
Какво реално можеш да пуснеш на CPU
Няма GPU? Тогава правиш CPU inference, а размерът на модела е всичко. Квантизацията (смачкване на теглата до 4-bit) е това, което прави това практично — губиш частица качество и спестяваш купчина памет.
Груби числа, тези, които имат значение:
- 3B модел, 4-bit — ~3 GB RAM. Достатъчно бърз за чат и прости задачи.
- 7B модел, 4-bit — ~5 GB RAM. Сладката точка: забележимо по-умен, все още работи с четимо темпо.
- 13B и нагоре — 8-10 GB+ и бавен на CPU. Технически възможен, практически досаден.
Скорост, честно: на няколко vCPU ще виждаш шепа токени в секунда. Напълно наред за chatbot или помощник за код, където четеш, докато той пише. Не наред за batch-обработка на милион документа — това е GPU работа, и не се преструваме иначе. Не предлагаме GPU инстанции. Ако планът ти се нуждае от модел 70B или тежък throughput, CPU VPS — нашият или на когото и да е — е грешният инструмент, и трябва да го знаеш, преди да похарчиш и стотинка.
Но частен 7B, който отговаря на въпросите ти и никога не звъни вкъщи? Той работи комфортно на машина от 6 GB.
Инсталацията — три команди
Вдигни сървъра, влез по SSH, и:
curl -fsSL https://ollama.com/install.sh | sh # installs Ollama
ollama run llama3.2:3b # pulls + runs a 3B model
Това е — чатиш в терминала. За да го използваш от собствения си код, Ollama вече сервира HTTP API на порт 11434:
curl http://localhost:11434/api/generate -d '{
"model": "llama3.2:3b",
"prompt": "Summarize this changelog in two lines: ...",
"stream": false
}'
Един капан, който си струва да знаеш предварително: по подразбиране това API се връзва към localhost. Дръж го така и тунелирай през SSH, или е изложено на интернет. Ако искаш да е достъпно, сложи го зад auth — не оставяй отворен endpoint на модел на публичен IP.
Избиране на машината
Съответствай плана на модела, не обратното:
| Искаш да пуснеш | RAM, който ти трябва | Разумен план |
|---|---|---|
| 3B модел, лека употреба | ~3 GB | Small (4 GB) |
| 7B модел, комфортно | ~5-6 GB | Medium (6 GB) |
| По-голям / висок throughput | GPU територия | не CPU VPS |
За повечето self-hosters, Medium (6 GB) е честната препоръка — достатъчно запас за 7B модел плюс приложението ти и OS-а. Small (4 GB) работи, ако се придържаш към 3B. Всичко под това е твърде тясно, щом OS-ът и контекстът изядат вътре.
Защо да го правиш тук
Ако хостваш сам LLM, поверителността обикновено е половината причина — така че би било странно да предадеш документа си, за да наемеш машината. Не се налага: можеш да платиш в USDC или USDT (или карта през on-ramp), без KYC, и сървърът е твой за около минута. Crypto-native, agent-friendly, а данните остават на машина, която контролираш.
Компромисът е този, за който бяхме честни: само CPU, таван от 6 GB, малки модели. В рамките на това self-hosting-ът е чудесен. Извън него, не оставяй никого да ти продаде CPU машина за работа, която се нуждае от GPU.
Готов да опиташ? Избери план, плати, и ще имаш root за около 60 секунди — после са три команди до собствения ти частен модел.
Коментари
Още няма коментари. Бъди първият.