दो सौ दस्तावेज़ों के साथ लैपटॉप पर RAG डेमो सहज लगता है। फिर आप इसे असली कॉर्पस पर पॉइंट करते हैं — एक कंपनी के docs, वर्षों के tickets, एक असली नॉलेज बेस — और पूरी चीज़ मेमोरी समस्या बन जाती है। CPU समस्या नहीं। एक मेमोरी की।
यहाँ वह हिस्सा है जो अधिकांश होस्टिंग पेज छोड़ देते हैं: तेज़ रिट्रीवल को इंडेक्स RAM में चाहिए। टेक्स्ट का हर chunk एक एम्बेडिंग बनता है — कुछ सौ से कुछ हज़ार संख्या चौड़ा वेक्टर — और सर्च का मतलब है आपकी क्वेरी की उन सबसे तुलना, जल्दी। डिस्क पर यह काम करता है, पर हर क्वेरी latency टैक्स चुकाती है, और कम-latency रिट्रीवल ही पहली वजह थी जो आपने सेल्फ-होस्ट किया।
साइज़िंग गणित, ईमानदारी से
अपना कॉर्पस मापें — dimension और इंडेक्स प्रकार इसे बहुत झुलाते हैं — पर शुरुआती अनुभव के तौर पर:
- कुछ लाख एम्बेडिंग — 2–4 GB। एक निजी नॉलेज बेस। इसके लिए Pro नहीं चाहिए; एक छोटा प्लान ठीक है।
- कम मिलियन — ऐप, मॉडल क्लाइंट और OS इर्द-गिर्द के साथ, 16–32 GB की योजना बनाएँ। एक गंभीर कंपनी नॉलेज बेस। यहीं Pro-32 या Pro-48 मायने रखने लगता है।
- करोड़ों, या हाई-डायमेंशन वेक्टर — 48 GB और ऊपर, और ~80 GB के आगे आप इंडेक्स को सर्वरों में बाँट रहे हैं। बड़े दस्तावेज़ estates, मल्टी-टेनेंट रिट्रीवल, एक साथ कई इंडेक्स हॉट।
अगर आपको विवरण चाहिए तो हमने पूरा RAM कर्व यहाँ लिखा।
हाई-मेमोरी और बिना-KYC एक साथ क्यों
48 GB RAM किराए पर लेना आसान है। उसे क्रिप्टो और बिना पहचान-जाँच के लेना नहीं है — अधिकांश होस्ट जो सस्ते में गंभीर मेमोरी बेचते हैं, कार्ड और KYC फ़ॉर्म के पीछे करते हैं। आपके एम्बेडिंग अमूर्त संख्याएँ नहीं; वे उस टेक्स्ट को encode करते हैं जिससे आए। आपके docs, आपके ग्राहकों की सामग्री, वेक्टर में बदली। अगर वह डेटा इतना संवेदनशील है कि आप निजी तौर पर भुगतान कर रहे, तो मैनेज्ड वेक्टर क्लाउड पूरा मक़सद पलट देता है — और वैसा ही वह होस्ट करता है जो सर्वर को आपकी पहचान से बाँधे।
वह संयोजन — हाई मेमोरी, डेडिकेटेड IP, क्रिप्टो, बिना KYC, नाइटली बैकअप — Pro लाइन इसी के लिए है। यह प्रति गीगाबाइट सबसे सस्ता नहीं, और अगर आपको प्राइवेसी नहीं चाहिए तो RAM कहीं और सस्ती मिल सकती है। पर अगर इंडेक्स ही आपका उत्पाद है और वह छोड़ नहीं सकता, तो यही वह आकार है जो फ़िट होता है।
कहाँ से शुरू करें
एक प्लान चुनें जिसमें इंडेक्स प्लस इर्द-गिर्द सबके लिए headroom हो — ऐप, मॉडल क्लाइंट, बढ़ने की जगह। अधिकांश असली कॉर्पस के लिए वह Pro-48 (48 GB); एक बड़ा Pro-64 या Pro-80 पर जाता है। पहले नमूना लोड करें, मेमोरी देखें, मापी गई संख्या से साइज़ लें — डरी हुई से नहीं।
अगर आपका रिट्रीवल एक बड़े एजेंट सिस्टम का हिस्सा है, तो वही बॉक्स अक्सर एजेंट फ़्लीट भी रखता है — इसी तरह एक 48 GB प्लान चुपके से 64 GB बन जाता है।
टिप्पणियाँ
अभी तक कोई टिप्पणी नहीं। पहले बनें।