VPS untuk RAG swa-hosting pada skala

Demo RAG di laptop dengan dua ratus dokumen terasa tanpa usaha. Lalu Anda mengarahkannya ke korpus nyata — dokumen sebuah perusahaan, tiket bertahun-tahun, basis pengetahuan sungguhan — dan keseluruhannya menjadi masalah memori. Bukan masalah CPU. Yang memori.

Berikut bagian yang kebanyakan halaman hosting lewatkan: retrieval cepat mau indeks di RAM. Setiap fragmen teks menjadi embedding — vektor beberapa ratus hingga beberapa ribu angka lebarnya — dan mencari berarti membandingkan kueri Anda terhadap semuanya, dengan cepat. Di disk ia bekerja, tapi setiap kueri membayar pajak latensi, dan retrieval berlatensi-rendah adalah alasan Anda swa-hosting sejak awal.

Matematika penentuan ukuran, jujurnya

Ukur korpus Anda sendiri — dimensi dan tipe indeks mengayun ini banyak — tapi sebagai rasa awal:

• Beberapa ratus ribu embedding — 2–4 GB. Basis pengetahuan pribadi. Anda tidak butuh Pro untuk ini; paket lebih kecil baik.
• Jutaan rendah — dengan app, klien model dan OS di sekitarnya, rencanakan 16–32 GB. Basis pengetahuan perusahaan serius. Di sinilah Pro-32 atau Pro-48 mulai masuk akal.
• Puluhan juta, atau vektor dimensi-tinggi — 48 GB ke atas, dan melewati ~80 GB Anda memecah indeks antar server. Kumpulan dokumen besar, retrieval multipenyewa, beberapa indeks panas sekaligus.

Kami menuliskan kurva RAM lengkapnya di sini jika Anda ingin detailnya.

Mengapa memori-tinggi dan tanpa KYC bersama

Menyewa 48 GB RAM itu mudah. Menyewanya dengan kripto dan tanpa pemeriksaan identitas tidak — kebanyakan host yang menjual memori serius dengan murah melakukannya di balik kartu dan formulir KYC. Embedding Anda bukan angka abstrak; mereka menyandi teks asal mereka. Dokumen Anda, konten pelanggan Anda, diubah menjadi vektor. Jika data itu cukup sensitif hingga Anda membayar secara privat, sebuah cloud vektor terkelola menggagalkan seluruh intinya — dan begitu juga host yang mengikat server ke identitas Anda.

Kombinasi itu — memori tinggi, IP khusus, kripto, tanpa KYC, cadangan malam — adalah untuk apa lini Pro ada. Ia bukan yang termurah per gigabyte, dan jika Anda tidak butuh privasi Anda bisa menemukan RAM lebih murah di tempat lain. Tapi jika indeks adalah produk Anda dan ia tidak bisa keluar, ini bentuk yang cocok.

Dari mana mulai

Pilih paket dengan margin untuk indeks plus semua di sekitarnya — app, klien model, ruang untuk tumbuh. Untuk kebanyakan korpus nyata itu Pro-48 (48 GB); yang besar pergi ke Pro-64 atau Pro-80. Muat sampel dulu, awasi memori, tentukan ukuran dari angka yang Anda ukur — bukan yang Anda takutkan.

Jika retrieval Anda bagian dari sistem agen lebih besar, mesin yang sama sering menahan armada agen juga — begitulah paket 48 GB diam-diam menjadi 64 GB.