Każdy tutorial RAG działa na laptopie z kilkuset dokumentami i wydaje się bezwysiłkowy. Potem kierujesz go na prawdziwy korpus — dokumentację firmy, lata zgłoszeń, bazę wiedzy — i nagle pamięć jest całą rozmową.
RAG nie skaluje się przez CPU. Skaluje się przez RAM.
Dlaczego indeks chce pamięci
Wyszukiwanie działa, zamieniając każdy chunk tekstu na osadzenie — wektor, od kilkuset do paru tysięcy liczb długi. Wyszukiwanie oznacza porównywanie Twojego wektora zapytania ze wszystkimi z nich, szybko. „Szybko” to słowo kluczowe: dla niskiej latencji indeks musi żyć w RAM. Na dysku działa, ale każde zapytanie płaci karę, a wyszukiwanie o niskiej latencji było sensem samodzielnego hostowania w pierwszej kolejności.
Więc rachunek pamięci skaluje się z dwiema rzeczami: iloma chunkami dysponujesz i jak szeroki jest każdy wektor.
Prawdziwe liczby, zgrubnie
Zmierz własne — wymiar i typ indeksu bardzo tym poruszają — ale jako punkt startu:
- Kilkaset tysięcy osadzeń — wygodnie w 2–4 GB. Osobista baza wiedzy, dokumentacja jednego produktu.
- Niskie miliony — z aplikacją, klientem modelu i systemem wokół, planuj 16–32 GB. To poważna firmowa baza wiedzy lub RAG z wielu źródeł.
- Dziesiątki milionów lub wektory o wysokim wymiarze — teraz jesteś w 48–80 GB, a poza tym między kilkoma maszynami. Duże majątki dokumentów, wyszukiwanie wielodostępne lub trzymasz kilka indeksów gorących naraz.
System wieloagentowy, który też trzyma duży indeks, piętrzy oba koszty na tej samej maszynie — tak plan 32 GB po cichu zamienia się w 64 GB.
Wybór silnika, krótko
Jeśli już prowadzisz Postgresa, pgvector to opcja najmniejszego wysiłku — to rozszerzenie, nie nowa usługa do pilnowania. Gdy masz miliony wektorów i chcesz szybkiego filtrowanego wyszukiwania, dedykowany silnik jak Qdrant lub Weaviate zarabia na osobny proces. Nie przeinżynieruj tego na dzień pierwszy; uruchamiaj to, co już obsługujesz, i wydziel to, gdy wyszukiwanie faktycznie zwalnia.
Po co się w ogóle trudzić samodzielnym hostowaniem
Dwa powody, dla których ludzie faktycznie to robią, i żaden nie jest „by zaoszczędzić kilka dolarów”:
Prywatność. Osadzenia nie są abstrakcyjne — kodują tekst, z którego pochodzą. Twoje dokumenty, treści Twoich klientów, Twoje wewnętrzne notatki, zamienione w wektory i wysłane na serwery osoby trzeciej. Samodzielny hosting trzyma to na maszynie, którą kontrolujesz. Jeśli dane są na tyle wrażliwe, że też płacisz kryptowalutą bez KYC, zarządzana chmura wektorowa niweczy cały sens.
Stały koszt. Zarządzane usługi wektorowe liczą za przechowywane wektory i wykonane zapytania. VPS to jedna miesięczna liczba, którą możesz młócić, jak chcesz. Na skali przewidywalne bije rozliczane po użyciu.
Co to oznacza dla doboru rozmiaru
Zacznij od zmierzenia korpusu, nie od zgadywania. Uzyskaj liczbę osadzeń i wymiar, załaduj próbkę, obserwuj pamięć rezydentną, ekstrapoluj. Potem wybierz plan z zapasem na indeks plus wszystko wokół — aplikację, klienta modelu, miejsce na wzrost.
Dla czegokolwiek powyżej paru milionów wektorów trzymanych prywatnie linia Pro obejmuje 32 do 80 GB z dedykowanym IP i nocnymi kopiami zapasowymi, co ma znaczenie, gdy indeks jest produktem, a jego utrata boli.
Komentarze
Brak komentarzy. Bądź pierwszy.