VPS cho RAG tự host ở quy mô

Một demo RAG trên một laptop với hai trăm tài liệu cảm giác dễ dàng. Rồi bạn trỏ nó vào một corpus thật — tài liệu của một công ty, nhiều năm ticket, một cơ sở tri thức thực — và cả thứ đó trở thành một bài toán bộ nhớ. Không phải một bài toán CPU. Một bài toán bộ nhớ.

Đây là phần hầu hết các trang hosting bỏ qua: truy xuất nhanh muốn chỉ mục nằm trong RAM. Mỗi chunk văn bản trở thành một embedding — một vector rộng vài trăm đến vài nghìn con số — và tìm kiếm nghĩa là so sánh truy vấn của bạn với tất cả chúng, nhanh chóng. Trên đĩa nó hoạt động, nhưng mỗi truy vấn phải trả một khoản thuế độ trễ, và truy xuất độ trễ thấp là lý do bạn tự host ngay từ đầu.

Bài toán chọn kích cỡ, một cách trung thực

Đo corpus của riêng bạn — chiều và loại chỉ mục làm điều này dao động nhiều — nhưng như một cảm giác khởi đầu:

• Vài trăm nghìn embedding — 2–4 GB. Một cơ sở tri thức cá nhân. Bạn không cần Pro cho cái này; một gói nhỏ hơn là ổn.
• Vài triệu — cùng ứng dụng, client mô hình và OS quanh nó, lên kế hoạch cho 16–32 GB. Một cơ sở tri thức công ty nghiêm túc. Đây là nơi Pro-32 hoặc Pro-48 bắt đầu hợp lý.
• Hàng chục triệu, hoặc vector chiều cao — 48 GB trở lên, và quá ~80 GB bạn chia chỉ mục qua các máy chủ. Các kho tài liệu lớn, truy xuất đa người thuê, vài chỉ mục nóng cùng lúc.

Chúng tôi viết ra đường cong RAM đầy đủ ở đây nếu bạn muốn chi tiết.

Vì sao bộ nhớ lớn và không KYC cùng nhau

Thuê 48 GB RAM dễ. Thuê nó bằng crypto không kiểm tra danh tính thì không — hầu hết các nhà cung cấp bán bộ nhớ nghiêm túc giá rẻ làm điều đó sau một thẻ và một biểu mẫu KYC. Các embedding của bạn không phải các con số trừu tượng; chúng mã hóa văn bản chúng đến từ đó. Tài liệu của bạn, nội dung của khách hàng bạn, biến thành vector. Nếu dữ liệu đó nhạy cảm đủ để bạn thanh toán riêng tư, một cloud vector có quản lý phá hỏng toàn bộ mục đích — và một nhà cung cấp gắn máy chủ với danh tính của bạn cũng vậy.

Sự kết hợp đó — bộ nhớ lớn, IP riêng, crypto, không KYC, sao lưu hàng đêm — là điều dòng Pro dành cho. Nó không phải rẻ nhất trên mỗi gigabyte, và nếu bạn không cần quyền riêng tư bạn có thể tìm RAM rẻ hơn ở nơi khác. Nhưng nếu chỉ mục chính là sản phẩm của bạn và nó không thể ra ngoài, đây là hình dạng phù hợp.

Bắt đầu ở đâu

Chọn một gói với dư địa cho chỉ mục cộng mọi thứ quanh nó — ứng dụng, client mô hình, chỗ để lớn lên. Với hầu hết các corpus thật đó là Pro-48 (48 GB); một cái lớn đi tới Pro-64 hoặc Pro-80. Nạp một mẫu trước, xem bộ nhớ, chọn kích cỡ từ con số bạn đo được — không phải cái bạn sợ.

Nếu truy xuất của bạn là một phần của một hệ thống agent lớn hơn, cùng cỗ máy thường giữ cả đội agent nữa — đó là cách một gói 48 GB lặng lẽ trở thành một cái 64 GB.