High-memory · Pro (RAG, agent fleets, private LLM)
Retrieval-augmented generation holder op med at være en laptop-demo, når korpusset bliver rigtigt. Et vektor-indeks vil have RAM, og dine embeddings er dine private data. Her er dimensioneringsregnestykket, og hvorfor høj-hukommelses, no-KYC-hosting passer. Fra $55/md.
Én agent er billig at hoste. En besætning på ti, der holder delt state, er et hukommelsesproblem. At dimensionere en CrewAI/LangGraph-flåde, hvorfor state æder RAM, og hvor no-KYC høj-hukommelse passer. Fra $40/md.
Større kvantiserede modeller har brug for rigtig RAM, ikke en GPU du ikke har. Hvor en høj-hukommelses-CPU-boks kører 30B-klasse-modeller privat, hvad der er realistisk, og hvor det ikke er. Fra $70/md.