VPS cho suy luận LLM riêng tư bộ nhớ lớn

Chúng tôi có một trang riêng cho Ollama và các mô hình nhỏ — đó là cỗ máy CPU $12 chạy 1B–8B và embedding. Trang này là đầu kia: các mô hình đủ lớn để RAM, không phải CPU, là cái chặn bạn lại.

Hãy trung thực ngay từ đầu, giống như mọi nơi: máy chủ của chúng tôi chỉ có CPU, không GPU. Một mô hình lớn ở đây chạy chậm. Nếu bạn muốn chat tương tác nhanh trên một mô hình 30B, bạn cần một host GPU — sản phẩm khác, nhà cung cấp khác. Điều một cỗ máy CPU bộ nhớ lớn làm tốt là chạy một mô hình lượng tử hóa lớn một cách riêng tư cho công việc không phải một cửa sổ chat.

Bài toán RAM

Mô hình nằm trong bộ nhớ, lượng tử hóa hay không, cộng chi phí phụ cho ngữ cảnh và runtime:

• 13B, 4-bit — khoảng 10–16 GB. Đã chạy trên một gói tầm trung.
• Lớp 30B, lượng tử hóa — 24–48 GB tùy lượng tử hóa. Đây là lãnh địa Pro-32 đến Pro-64.
• Lớn hơn hoặc độ chính xác cao hơn — 64–80 GB, và quá 80 GB không cỗ máy đơn nào của chúng tôi vừa. Pro-80 là trần ở đây.

Đó là vì sao "chạy một mô hình cục bộ lớn hơn" thực ra là một câu hỏi bộ nhớ lớn. Mô hình chính là dấu chân bộ nhớ. Thêm một chỉ mục RAG trên cùng host và các con số chồng lên.

Nơi ưu-tiên-riêng-tư thực sự thắng

Lý do không phải tốc độ và không phải chi phí — mà là một số dữ liệu không thể ra ngoài. Tài liệu pháp lý. Hồ sơ y tế. Mã độc quyền. Bất cứ gì mà gửi prompt tới một API bên thứ ba là không thể. Một mô hình chậm hơn chạy hoàn toàn trên cỗ máy của bạn đánh bại một cái nhanh ghi log mọi thứ bạn gửi nó. Chúng tôi đã viết bức tranh đầy đủ ở đây.

Và nếu dữ liệu nhạy cảm đến vậy, việc thanh toán có lẽ cũng nên riêng tư. Thuê cỗ máy bằng crypto và không KYC giữ cả chuỗi — máy chủ, mô hình, prompt, thanh toán — khỏi hồ sơ danh tính của bất kỳ ai. Đó là điểm bán: không phải suy luận rẻ hơn, mà là suy luận không ai khác thấy được.

Chọn cái gì

Cho một mô hình lớp 30B với chỗ cho ngữ cảnh, Pro-64 (64 GB) là lựa chọn thoải mái; một lượng tử hóa chặt hơn vừa với Pro-32 hoặc Pro-48, một cái lớn hơn đi tới Pro-80. Nạp mô hình trước, xem bộ nhớ thường trú, chọn kích cỡ từ cái bạn đo được. Và đặt kỳ vọng: đây là suy luận theo lô riêng tư, không phải một cửa sổ chat nhanh.