Смогу запустить Llama 70B?

Нет. У нас только CPU и до 6 ГБ RAM — это диапазон небольших квантованных моделей (примерно 1B–8B на 4 битах). Модели на 70B нужна GPU и куда больше памяти. Мы не даём GPU и предпочитаем сказать это прямо, а не продать вам разочарование.

Насколько быстрый CPU-инференс на самом деле?

Несколько токенов в секунду на модели 7–8B при 4-битной квантизации, заметно лучше на 1–3B. Этого достаточно для фоновых задач, эмбеддингов, классификации и асинхронных пайплайнов. И этого НЕ достаточно для бодрого интерактивного чата.

Тогда для чего это годится?

Приватные эмбеддинги, классификация, очереди на суммаризацию, RAG-пайплайны, где задержка не критична, и удержание данных подальше от чужих API. А ещё — учиться, тестировать и прототипировать, прежде чем арендовать GPU где-то ещё.

Спрашиваете документы?

Нет. Email для регистрации, оплата в USDC или USDT. Что часто и есть причина, по которой человек вообще хочет приватную модель.

VPS для Ollama и локальных LLM

Self-host небольших языковых моделей на CPU-сервере — приватно, безлимитно, оплата криптой. Честно о том, что CPU-инференс может и чего не может. От $12/мес.

Сразу о неприятном, потому что интернет полон страниц, которые об этом молчат.

Наши серверы — только CPU. GPU у нас нет. Значит, у локальных LLM здесь жёсткий потолок, и делать вид, что это не так, — просто потратить ваши деньги.

Что реально работает на CPU

С 6 vCPU и 6 ГБ RAM (наш тариф Medium — $12/мес) вы в диапазоне небольших квантованных моделей:

1B–3B (Q4): реально пригодны. Достаточно быстры для классификации, разметки, маршрутизации и простого извлечения структурированных данных.
7B–8B (Q4): запускаются, но ждите несколько токенов в секунду. Нормально для очереди, которая перемалывает документы за ночь. Мучительно в качестве окна чата.
Модели эмбеддингов: отличное совпадение. Они маленькие, на CPU быстрые — и это, пожалуй, лучшая причина держать Ollama на такой машине.
13B и выше: не надо. Будете свопиться и ждать.

Если нужен быстрый интерактивный чат на 70B — нужен GPU-хостинг. Это другой продукт у другого провайдера, и мы лучше скажем вам это, чем заберём ваши $12.

Где CPU-машина реально выигрывает

Приватность. Ваши документы, ваши промпты, ваши эмбеддинги — не покидают машину, которую вы контролируете, и не становятся чьей-то обучающей выборкой. Для многих в этом весь смысл, и несколько токенов в секунду — приемлемая плата.

Предсказуемая стоимость. Никакого счёта за токены. Пайплайн, который классифицирует пятьдесят тысяч записей, стоит столько же, сколько классифицирующий пятьдесят: $12.

Асинхронная работа. Большая часть полезной LLM-работы — не окно чата, а очередь: суммируй эти, разметь те, посчитай эмбеддинги для корпуса. CPU-машина, которая всю ночь разгребает бэклог, справляется с этим прекрасно.

Сетап

# Ubuntu 24.04 — рекомендуем тариф Medium
curl -fsSL https://ollama.com/install.sh | sh

# Начните с чего-то маленького и убедитесь сами
ollama pull llama3.2:3b
ollama run llama3.2:3b "Суммируй одним предложением: ..."

# Эмбеддинги — золотая середина для CPU
ollama pull nomic-embed-text
curl http://localhost:11434/api/embeddings \
  -d '{"model":"nomic-embed-text","prompt":"hello world"}'

Ollama поднимает HTTP API на localhost:11434. Пусть там и остаётся. Если нужен доступ извне — ставьте обратный прокси с аутентификацией на тарифе с выделенным IP, и никогда не выставляйте эндпоинт модели без защиты в открытый интернет.

Соедините с векторной базой (Qdrant или pgvector в Docker) — и получите полноценный приватный RAG-стек на одной машине за $12. Именно такая связка — локальные эмбеддинги, локальное векторное хранилище, внешний API только для тяжёлой генерации — на таком железе и имеет смысл.

Какой тариф взять

Использование	Тариф	Цена
Эмбеддинги, модели 1–3B, RAG-пайплайн	Medium	$12/мес
То же плюс публичный эндпоинт за аутентификацией	Medium-IP	$20/мес
Просто потестировать маленькие модели	Small	$8/мес

Только CPU, до 6 vCPU и 6 ГБ RAM. NVMe, безлимитный трафик, Германия или Финляндия. Оплата криптой, без KYC. Годовая оплата — один перевод вместо двенадцати.

Ещё почитать

Векторная база для памяти AI — вторая половина приватного RAG-стека
VPS для AI-агентов — оркестрация на той же машине

Готовы? Развернуть сервер → — работает примерно через минуту, оплата криптой, без документов.