Ölçekte kendi kendine barındırılan RAG için VPS

İki yüz belgeli bir dizüstü bilgisayarda bir RAG demosu zahmetsiz hissettirir. Sonra onu gerçek bir külliyata yöneltirsiniz — bir şirketin belgeleri, yıllarca biriken destek biletleri, gerçek bir bilgi tabanı — ve her şey bir bellek sorununa dönüşür. CPU sorununa değil. Bir bellek sorununa.

İşte çoğu barındırma sayfasının atladığı kısım: hızlı alma, indeksin RAM'de olmasını ister. Her metin parçası bir gömmeye dönüşür — birkaç yüzden birkaç bin sayı genişliğinde bir vektör — ve arama, sorgunuzu bunların hepsiyle hızlıca karşılaştırmak demektir. Diskte çalışır, ama her sorgu bir gecikme vergisi öder ve düşük gecikmeli alma, en başta kendi kendine barındırmanızın sebebiydi.

Boyutlandırma matematiği, dürüstçe

Kendi külliyatınızı ölçün — boyut ve indeks türü bunu çok değiştirir — ama başlangıç hissi olarak:

• Birkaç yüz bin gömme — 2–4 GB. Kişisel bir bilgi tabanı. Bunun için Pro'ya ihtiyacınız yok; daha küçük bir plan yeter.
• Birkaç milyon — uygulama, model istemcisi ve OS etrafında olmak üzere 16–32 GB planlayın. Ciddi bir şirket bilgi tabanı. Pro-32 veya Pro-48'in mantıklı olmaya başladığı yer burasıdır.
• Onlarca milyon veya yüksek boyutlu vektörler — 48 GB ve üstü ve ~80 GB'nin ötesinde indeksi sunucular arasında bölüyorsunuz. Büyük belge varlıkları, çok kiracılı alma, aynı anda birkaç sıcak indeks.

Ayrıntıları isterseniz tam RAM eğrisini burada yazdık.

Neden yüksek bellek ve KYC yok bir arada

48 GB RAM kiralamak kolaydır. Bunu kripto para ve kimlik kontrolü olmadan kiralamak değildir — ciddi belleği ucuza satan çoğu barındırıcı bunu bir kartın ve bir KYC formunun arkasında yapar. Gömmeleriniz soyut sayılar değildir; geldikleri metni kodlarlar. Belgeleriniz, müşterilerinizin içeriği, vektörlere dönüşmüş. O veri gizlice ödeme yapacak kadar hassassa, yönetilen bir vektör bulutu tüm meseleyi bozar — ve sunucuyu kimliğinize bağlayan bir barındırıcı da öyle.

Bu kombinasyon — yüksek bellek, özel IP, kripto, KYC yok, gece yedekleri — Pro serisinin var oluş sebebidir. Gigabayt başına en ucuzu değildir ve gizliliğe ihtiyacınız yoksa başka yerde daha ucuz RAM bulabilirsiniz. Ama indeks bizzat ürününüzse ve dışarı çıkamıyorsa, oturan biçim budur.

Nereden başlamalı

İndeks artı etrafındaki her şey — uygulama, model istemcisi, büyümek için yer — için baş üstü boşluğu olan bir plan seçin. Çoğu gerçek külliyat için bu Pro-48'dir (48 GB); büyük olanı Pro-64 veya Pro-80'e gider. Önce bir örnek yükleyin, belleği izleyin, korktuğunuzdan değil ölçtüğünüz rakamdan boyutlandırın.

Almanız daha büyük bir ajan sisteminin parçasıysa, aynı kutu genelde ajan filosunu da tutar — 48 GB'lik bir plan böyle sessizce 64 GB'lik olur.