EQVPS
Почати

VPS для Ollama і локальних LLM

Self-host невеликих мовних моделей на CPU-сервері — приватно, безлімітно, оплата криптою. Чесно про те, що CPU-інференс може і чого не може. Від $12/міс.

Одразу про неприємне, бо інтернет повний сторінок, які про це мовчать.

Наші сервери — лише CPU. GPU у нас немає. Отже, у локальних LLM тут жорстка стеля, і вдавати, що це не так, — просто витратити ваші гроші.

Що реально працює на CPU

З 6 vCPU і 6 ГБ RAM (наш тариф Medium — $12/міс) ви в діапазоні невеликих квантованих моделей:

Якщо потрібен швидкий інтерактивний чат на 70B — потрібен GPU-хостинг. Це інший продукт в іншого провайдера, і ми краще скажемо вам це, ніж заберемо ваші $12.

Де CPU-машина реально виграє

Приватність. Ваші документи, ваші промпти, ваші ембединги — не покидають машину, яку ви контролюєте, і не стають чиєюсь навчальною вибіркою. Для багатьох у цьому весь сенс, і кілька токенів на секунду — прийнятна плата.

Передбачувана вартість. Жодного рахунку за токени. Пайплайн, що класифікує п'ятдесят тисяч записів, коштує стільки ж, скільки той, що класифікує п'ятдесят: $12.

Асинхронна робота. Більша частина корисної LLM-роботи — не вікно чату, а черга: сумуй ці, розмітий ті, порахуй ембединги для корпусу. CPU-машина, яка всю ніч розгрібає беклог, справляється з цим чудово.

Сетап

# Ubuntu 24.04 — рекомендуємо тариф Medium
curl -fsSL https://ollama.com/install.sh | sh

# Почніть з чогось маленького і переконайтеся самі
ollama pull llama3.2:3b
ollama run llama3.2:3b "Сумуй одним реченням: ..."

# Ембединги — золота середина для CPU
ollama pull nomic-embed-text
curl http://localhost:11434/api/embeddings \
  -d '{"model":"nomic-embed-text","prompt":"hello world"}'

Ollama піднімає HTTP API на localhost:11434. Хай там і лишається. Якщо потрібен доступ ззовні — ставте зворотний проксі з автентифікацією на тарифі з виділеною IP, і ніколи не виставляйте ендпоінт моделі без захисту у відкритий інтернет.

Поєднайте з векторною базою (Qdrant або pgvector у Docker) — і отримаєте повноцінний приватний RAG-стек на одній машині за $12. Саме така зв'язка — локальні ембединги, локальне векторне сховище, зовнішній API лише для важкої генерації — на такому залізі й має сенс.

Який тариф узяти

ВикористанняТарифЦіна
Ембединги, моделі 1–3B, RAG-пайплайнMedium$12/міс
Те саме плюс публічний ендпоінт за автентифікацієюMedium-IP$20/міс
Просто потестувати маленькі моделіSmall$8/міс

Лише CPU, до 6 vCPU і 6 ГБ RAM. NVMe, безлімітний трафік, Німеччина або Фінляндія. Оплата криптою, без KYC. Річна оплата — один переказ замість дванадцяти.

Ще почитати

Готові? Розгорнути сервер → — працює приблизно за хвилину, оплата криптою, без документів.

Ready to deploy? Pay with crypto, no KYC — live in about a minute.

Deploy now →

FAQ

Чи зможу запустити Llama 70B?

Ні. У нас лише CPU і до 6 ГБ RAM — це діапазон невеликих квантованих моделей (приблизно 1B–8B на 4 бітах). Моделі на 70B потрібна GPU і значно більше пам'яті. Ми не даємо GPU і волієм сказати це прямо, а не продати вам розчарування.

Наскільки швидкий CPU-інференс насправді?

Кілька токенів на секунду на моделі 7–8B при 4-бітній квантизації, помітно краще на 1–3B. Цього достатньо для фонових задач, ембедингів, класифікації та асинхронних пайплайнів. І цього НЕ достатньо для бадьорого інтерактивного чату.

Тоді для чого це годиться?

Приватні ембединги, класифікація, черги на сумаризацію, RAG-пайплайни, де затримка не критична, і утримання даних подалі від чужих API. А ще — вчитися, тестувати й прототипувати, перш ніж орендувати GPU десь інде.

Питаєте документи?

Ні. Email для реєстрації, оплата в USDC або USDT. Що часто і є причиною, з якої людина взагалі хоче приватну модель.