Elke prompt naar iemands API sturen is prima — tot het dat niet is. Misschien is de data gevoelig en zou je hem liever nooit je server laten verlaten. Misschien ben je moe van rate limits, of van een model-versie die onder je voeten verandert, of van een per-token-meter die tikt terwijl je experimenteert. Op een gegeven moment stopt "wat als ik gewoon mijn eigen draaide?" een gedachte-experiment te zijn.
Ollama maakt dat genuine makkelijk. De moeilijkere vraag is wat past op een VPS — en hier telt het eerlijke antwoord meer dan de hype.
Wat je werkelijk kunt draaien op CPU
Geen GPU? Dan doe je CPU-inferentie, en modelgrootte is alles. Kwantisatie (de gewichten omlaag knijpen naar 4-bit) is wat dit praktisch maakt — je verliest een sliver kwaliteit en bespaart een berg geheugen.
Ruwe cijfers, degene die ertoe doen:
- 3B-model, 4-bit — ~3 GB RAM. Snel genoeg voor chat en simpele taken.
- 7B-model, 4-bit — ~5 GB RAM. De sweet spot: merkbaar slimmer, draait nog steeds op een leesbaar tempo.
- 13B en hoger — 8-10 GB+ en langzaam op CPU. Technisch mogelijk, praktisch vervelend.
Snelheid, eerlijk: op een paar vCPU's zie je een handvol tokens per seconde. Perfect prima voor een chatbot of een coding-assistent waar je leest terwijl het typt. Niet prima voor het batch-processen van een miljoen documenten — dat is een GPU-job, en we doen niet alsof anders. We bieden geen GPU-instances. Als je plan een 70B-model of zware throughput nodig heeft, is een CPU-VPS — de onze of die van iemand — het verkeerde gereedschap, en dat zou je moeten weten voordat je een cent uitgeeft.
Maar een private 7B die je vragen beantwoordt en nooit naar huis belt? Die draait comfortabel op een 6 GB-box.
De installatie — drie commando's
Start de server op, SSH erin, en:
curl -fsSL https://ollama.com/install.sh | sh # installs Ollama
ollama run llama3.2:3b # pulls + runs a 3B model
Dat is het — je chat in de terminal. Om het vanuit je eigen code te gebruiken, serveert Ollama al een HTTP-API op poort 11434:
curl http://localhost:11434/api/generate -d '{
"model": "llama3.2:3b",
"prompt": "Summarize this changelog in two lines: ...",
"stream": false
}'
Eén gotcha het waard om vooraf te weten: standaard bindt die API aan localhost. Houd het zo en tunnel over SSH, of het is blootgesteld aan het internet. Als je het bereikbaar wilt, zet het achter auth — laat geen open model-endpoint op een publiek IP.
De box kiezen
Match het plan aan het model, niet andersom:
| Je wilt draaien | RAM die je nodig hebt | Verstandig plan |
|---|---|---|
| 3B-model, licht gebruik | ~3 GB | Small (4 GB) |
| 7B-model, comfortabel | ~5-6 GB | Medium (6 GB) |
| Groter / hoge throughput | GPU-gebied | geen CPU-VPS |
Voor de meeste zelf-hosters is Medium (6 GB) de eerlijke aanbeveling — genoeg ruimte voor een 7B-model plus je app en het OS. Small (4 GB) werkt als je bij 3B blijft. Alles daaronder is te krap zodra het OS en context erin eten.
Waarom het hier doen
Als je een LLM zelf-host, is privacy meestal de helft van de reden — dus het zou raar zijn je ID over te handigen om de box te huren. Dat hoef je niet: je kunt betalen in USDC of USDT (of een kaart via de on-ramp), geen KYC, en de server is van jou in ongeveer een minuut. Crypto-native, agent-vriendelijk, en de data blijft op een machine die je beheert.
De afweging is degene waar we eerlijk over zijn geweest: alleen CPU, een 6 GB-plafond, kleine modellen. Daarbinnen is zelf-hosten geweldig. Daarbuiten, laat niemand je een CPU-box verkopen voor een job die een GPU nodig heeft.
Klaar om te proberen? Kies een plan, betaal, en je hebt root in ongeveer 60 seconden — dan is het drie commando's naar je eigen private model.
Reacties
Nog geen reacties. Wees de eerste.