הדגמת RAG על מחשב נייד עם מאתיים מסמכים מרגישה ללא מאמץ. ואז אתם מכוונים אותה לקורפוס אמיתי — המסמכים של חברה, שנים של תיקטים, בסיס-ידע ממשי — וכל הדבר הופך לבעיית זיכרון. לא בעיית CPU. בעיית זיכרון.
הנה החלק שרוב עמודי האחסון מדלגים עליו: אחזור מהיר רוצה את האינדקס ב-RAM. כל chunk של טקסט הופך ל-embedding — וקטור ברוחב כמה מאות עד כמה אלפי מספרים — וחיפוש אומר להשוות את השאילתה שלכם מול כולם, במהירות. על דיסק זה עובד, אבל כל שאילתה משלמת מס השהיה, ואחזור בהשהיה-נמוכה היה הסיבה שאיחסנתם-בעצמכם מלכתחילה.
חשבון המדידה, בכנות
מדדו את הקורפוס שלכם — מימד וסוג אינדקס מנדנדים את זה הרבה — אבל כתחושת התחלה:
- כמה מאות אלפי embeddings — 2–4 GB. בסיס-ידע אישי. אתם לא צריכים Pro לזה; תוכנית קטנה יותר בסדר.
- מיליונים בודדים — עם האפליקציה, לקוח המודל ומערכת ההפעלה סביבם, תכננו ל-16–32 GB. בסיס-ידע רציני של חברה. כאן Pro-32 או Pro-48 מתחילה להיות הגיונית.
- עשרות מיליונים, או וקטורים בעלי מימד-גבוה — 48 GB ומעלה, ומעבר ל-~80 GB אתם מפצלים את האינדקס על פני שרתים. אחוזות מסמכים גדולות, אחזור רב-דיירים, כמה אינדקסים חמים בבת אחת.
כתבנו את עקומת ה-RAM המלאה כאן אם אתם רוצים את הפרטים.
למה זיכרון-גבוה וגם ללא-KYC יחד
לשכור 48 GB של RAM זה קל. לשכור אותם עם קריפטו וללא בדיקת זהות זה לא — רוב המארחים שמוכרים זיכרון רציני בזול עושים זאת מאחורי כרטיס וטופס KYC. ה-embeddings שלכם אינם מספרים מופשטים; הם מקודדים את הטקסט שממנו באו. המסמכים שלכם, התוכן של הלקוחות שלכם, הפכו לווקטורים. אם הנתונים האלה רגישים מספיק שאתם משלמים בפרטיות, ענן וקטורי מנוהל מבטל את כל הנקודה — וכך גם מארח שקושר את השרת לזהות שלכם.
הצירוף הזה — זיכרון גבוה, IP ייעודי, קריפטו, ללא KYC, גיבויים לילִיים — הוא מה שקו ה-Pro מיועד לו. זה לא הזול ביותר לכל גיגה-בייט, ואם אתם לא צריכים פרטיות אתם יכולים למצוא RAM זול יותר במקום אחר. אבל אם האינדקס הוא המוצר שלכם והוא לא יכול לעזוב, זו הצורה שמתאימה.
איפה להתחיל
בחרו תוכנית עם מרווח לאינדקס בתוספת כל מה שסביבו — האפליקציה, לקוח המודל, מקום לגדול. לרוב הקורפוסים האמיתיים זו Pro-48 (48 GB); גדול הולך ל-Pro-64 או Pro-80. טענו מדגם קודם, צפו בזיכרון, מדדו גודל מהמספר שמדדתם — לא מזה שחששתם ממנו.
אם האחזור שלכם הוא חלק ממערכת סוכנים גדולה יותר, אותו ארגז לעתים קרובות מחזיק גם את צי הסוכנים — כך תוכנית של 48 GB הופכת בשקט לאחת של 64 GB.
תגובות
אין עדיין תגובות. היו הראשונים.