Demo RAG na laptopie z dwustoma dokumentami wydaje się bezwysiłkowe. Potem kierujesz je na prawdziwy korpus — dokumentację firmy, lata zgłoszeń, faktyczną bazę wiedzy — i cała rzecz staje się problemem pamięci. Nie problemem CPU. Problemem pamięci.
Oto część, którą większość stron hostingowych pomija: szybkie wyszukiwanie chce indeksu w RAM. Każdy chunk tekstu staje się osadzeniem — wektorem od kilkuset do paru tysięcy liczb szerokim — a wyszukiwanie oznacza porównywanie Twojego zapytania ze wszystkimi z nich, szybko. Na dysku działa, ale każde zapytanie płaci podatek latencji, a wyszukiwanie o niskiej latencji było powodem, dla którego w ogóle hostowałeś samodzielnie.
Matematyka doboru, uczciwie
Zmierz własny korpus — wymiar i typ indeksu bardzo tym huśtają — ale jako punkt startu:
- Kilkaset tysięcy osadzeń — 2–4 GB. Osobista baza wiedzy. Nie potrzebujesz do tego Pro; mniejszy plan wystarczy.
- Niskie miliony — z aplikacją, klientem modelu i systemem wokół, planuj 16–32 GB. Poważna firmowa baza wiedzy. To tu Pro-32 lub Pro-48 zaczyna mieć sens.
- Dziesiątki milionów lub wektory o wysokim wymiarze — 48 GB wzwyż, a poza ~80 GB rozdzielasz indeks między serwery. Duże majątki dokumentów, wyszukiwanie wielodostępne, kilka indeksów gorących naraz.
Rozpisaliśmy pełną krzywą RAM tutaj, jeśli chcesz szczegółów.
Dlaczego duża pamięć i brak KYC razem
Wynajęcie 48 GB RAM jest łatwe. Wynajęcie go z krypto i bez weryfikacji tożsamości nie jest — większość hostów, które tanio sprzedają poważną pamięć, robi to za kartą i formularzem KYC. Twoje osadzenia nie są abstrakcyjnymi liczbami; kodują tekst, z którego pochodzą. Twoje dokumenty, treści Twoich klientów, zamienione w wektory. Jeśli te dane są na tyle wrażliwe, że płacisz prywatnie, zarządzana chmura wektorowa niweczy cały sens — podobnie jak host, który wiąże serwer z Twoją tożsamością.
Ta kombinacja — duża pamięć, dedykowane IP, krypto, bez KYC, nocne kopie zapasowe — jest tym, do czego służy linia Pro. To nie najtańsze na gigabajt, i jeśli nie potrzebujesz prywatności, RAM znajdziesz taniej gdzie indziej. Ale jeśli indeks jest Twoim produktem i nie może wyjść, to jest kształt, który pasuje.
Gdzie zacząć
Wybierz plan z zapasem na indeks plus wszystko wokół — aplikację, klienta modelu, miejsce na wzrost. Dla większości prawdziwych korpusów to Pro-48 (48 GB); duży idzie do Pro-64 lub Pro-80. Załaduj najpierw próbkę, obserwuj pamięć, dobierz rozmiar z liczby, którą zmierzyłeś — nie z tej, której się bałeś.
Jeśli Twoje wyszukiwanie jest częścią większego systemu agentowego, ta sama maszyna często trzyma też flotę agentów — tak plan 48 GB po cichu staje się 64 GB.
Komentarze
Brak komentarzy. Bądź pierwszy.