Kan jeg køre Llama 70B på dette?

Ikke på en brugbar måde. Vores standardabonnementer er kun-CPU med op til 6 GB RAM — det er rækkevidden af små kvantiserede modeller (cirka 1B–8B ved 4-bit). Pro-linjen går op til 80 GB RAM og 12 vCPU, nok til at indlæse en 70B-model i 4-bit, men på CPU svarer den meget langsomt. Til rigtigt arbejde med 70B skal du bruge en GPU. Vi tilbyder ikke GPU'er, og vi vil hellere sige det end sælge dig en skuffelse.

Hvor hurtig er CPU-inferens, virkelig?

Forvent et par tokens i sekundet på en 7–8B-model ved 4-bit-kvantisering, og mærkbart bedre på 1–3B-modeller. Det er fint til baggrundsjobs, embeddings, klassificering og async-pipelines. Det er ikke fint til en snappy interaktiv chat.

Så hvad er dette faktisk godt til?

Private embeddings, klassificering, opsummeringskøer, RAG-pipelines hvor latenstid ikke betyder noget, og at holde data væk fra tredjeparts-API'er. Også: læring, test og prototyping, før du lejer en GPU et sted.

Nej. E-mail for at registrere, USDC eller USDT for at betale. Hvilket ofte er grunden til, at folk vil have en privat model i første omgang.

VPS til Ollama og lokale LLM'er

Selv-host små sprogmodeller på en CPU-server — privat, unmetered, betalt i krypto. Ærlig om, hvad CPU-inferens kan og ikke kan. Fra $12/md.

Lad os få den skuffende del af vejen, for internettet er fuldt af sider, der ikke gør det.

Vores servere er kun-CPU. Vi tilbyder ikke GPU'er. Det betyder, at lokalt LLM-arbejde her har et hårdt loft, og at lade som om andet ville bare spilde dine penge.

Hvad der faktisk virker på CPU

På standardabonnementerne, med op til 6 vCPU og 6 GB RAM (vores Medium-plan — $12/md), er du i rækkevidden af små kvantiserede modeller:

1B–3B-modeller (Q4): genuint brugbare. Hurtige nok til klassificering, tagging, routing og simpel struktureret udtrækning.
7B–8B-modeller (Q4): kører, men forvent et par tokens i sekundet. Fint til en kø, der tygger gennem dokumenter natten over. Smertefuldt som et chatvindue.
Embedding-modeller: fremragende pasform. De er små, hurtige på CPU, og dette er sandsynligvis den enkeltvis bedste grund til at køre Ollama på en boks som vores.
13B og op: lad være. Du vil swappe og vente.

Hvis du har brug for en hurtig, interaktiv 70B-chat, har du brug for en GPU-vært — det er et andet produkt fra en anden udbyder, og det vil vi hellere fortælle dig end tage dine $12.

Hvor en CPU-boks for alvor vinder

Privatliv. Dine dokumenter, dine prompts, dine embeddings — forlader aldrig en maskine, du kontrollerer, bliver aldrig nogens træningsdata. For mange mennesker er det hele pointen, og et par tokens i sekundet er en acceptabel handel.

Omkostningsforudsigelighed. Ingen per-token-regning. En pipeline, der klassificerer halvtreds tusinde poster, koster det samme som en, der klassificerer halvtreds: $12.

Async-arbejde. Det meste nyttige LLM-arbejde er ikke et chatvindue. Det er en kø: opsummér disse, tag de der, embed dette korpus. En CPU-boks, der maler gennem en backlog natten over, er helt god til det.

Opsætning

# Ubuntu 24.04 — Medium plan recommended
curl -fsSL https://ollama.com/install.sh | sh

# Start with something small and see for yourself
ollama pull llama3.2:3b
ollama run llama3.2:3b "Summarize this in one sentence: ..."

# Embeddings — the sweet spot for CPU
ollama pull nomic-embed-text
curl http://localhost:11434/api/embeddings \
  -d '{"model":"nomic-embed-text","prompt":"hello world"}'

Ollama betjener et HTTP-API på localhost:11434. Hold det der. Hvis du har brug for at nå det andetsteds fra, så sæt det bag en reverse proxy med autentificering på en dedikeret-IP-plan — eksponer aldrig et uautentificeret model-endpoint til det åbne internet.

Kombinér det med en vektordatabase (Qdrant eller pgvector i Docker), og du har en komplet privat RAG-stak på én $12-boks. Den kombination — små lokale embeddings, lokalt vektor-store, eksternt API kun til det tunge genereringstrin — er opsætningen, der faktisk giver mening på hardware som denne.

At vælge en plan

Brug	Plan	Pris
Embeddings, 1–3B-modeller, RAG-pipeline	Medium	$12/md
Samme, plus et offentligt endpoint bag auth	Medium-IP	$20/md
Bare test af små modeller	Small	$8/md

Kun-CPU: standardabonnementer op til 6 vCPU og 6 GB RAM, Pro-linjen op til 12 vCPU og 80 GB. NVMe-lagring, unmetered trafik, Tyskland eller Finland. Kryptobetaling, ingen KYC. Årlig fakturering er én overførsel i stedet for tolv.

Relateret læsning

Host en vektor-DB til AI-hukommelse — den anden halvdel af en privat RAG-stak
VPS til AI-agenter — orkestrering på samme boks

Klar? Deploy en server → — live på cirka et minut, betalt i krypto, intet ID påkrævet.

VPS til Open WebUI: en privat chatbrugerflade til LLM'er →