Jibu la uaminifu kwa "seva kiasi gani AI agent yangu inahitaji?" ni: chini ya unavyodhani — hadi ghafla si. Trick ni kujua upande gani wa lkri hiyo mzigo wako unakaa. Hivyo badala ya kukisia, hii ndio kila aina ya agent inatumia dhati.
Swali moja linaloamua kila kitu
Je modeli inaendesha kwenye seva yako, au agent yako inapiga modeli kupitia API?
Kama agent yako inazungumza na hosted LLM (hali ya kawaida), sehemu ya ujanja, ghali hutokea kwenye vifaa vya mtu mwingine. Sanduku lako linaendesha tu orchestration loop: chukua input, piga API, parse matokeo, labda gonga hifadhidata, rudia. Hiyo ni nyepesi. Nyepesi dhati — sanduku la 1 GB linaifanya bila kuchoka.
Kama unaendesha modeli locally, kila kitu kinabadilika: sasa RAM inatawaliwa na model weights, nawe utataka kila core unayoweza kupata. Watu wengi hawaihitaji hii. Wale wanaoihitaji kwa kawaida wanajua hasa kwa nini (faragha, hakuna rate limits, offline). Kama hiyo ni wewe, tuliandika mwongozo tofauti wa kujihifadhi local LLM.
Sizing kwa mzigo
Namba halisi, aina unayoweza kuitendea:
| Mzigo | RAM | vCPU | Disk | Kumbuka |
|---|---|---|---|---|
| Chat / assistant agent (API-backed) | 1 GB | 2 | 15 GB | Loop ni ndogo; modeli iko remote |
| Scraper / data agent | 2 GB | 2 | 25 GB | Nafasi kwa parsing + scraped data |
| Trading bot | 1–2 GB | 2 | 15–25 GB | Latency inahusika zaidi ya saizi — angalia trading bot guide |
| Agents kadhaa parallel | 4 GB | 4 | 35 GB | Kila agent ni nafuu; concurrency inajumuika |
| Local LLM, 3B–7B (quantized) | 4–6 GB | 4–6 | 25–45 GB | CPU-pekee, inaendesha kwa kasi ya kusomeka, si bulk |
Pattern: API-backed agents ni ndogo; local models ndicho kitu pekee kilicho nzito.
Wapi sanduku la CPU linasimama
Kuwa wa moja kwa moja kuhusu dari: mipango yetu inaishia kwenye 6 GB RAM na cores 6, CPU-pekee — hakuna GPU. Hiyo inafunika kila kitu katika jedwali hapo juu, ikiwemo local model ya 7B kwa matumizi ya binafsi. Kile haifuniki: modeli za 13B+, high-throughput local inference, au chochote kinachohitaji GPU dhati. Kama hiyo ni mzigo wako, CPU VPS — yetu au ya mtu yeyote — ni zana isiyofaa, nayo ni bora kujua sasa kuliko baada ya kudeploy.
Kwa 95% ya agents wanaopiga API, hakuna kati ya hii ni tatizo. Wako na furaha kwenye sanduku ndogo zaidi.
Kanuni ya vitendo ya jumla
- Agent tu inayopiga API? Anza kwenye 1 GB / cores 2. Unaweza kuweka saizi upya baadaye.
- Scraping au kuhifadhi data? 2 GB na disk kubwa zaidi.
- Kuendesha agents kadhaa, au local model ndogo? 4–6 GB na cores 4+.
- Inahitaji GPU? Kategoria tofauti — usiilazimishe kwenye CPU.
Usi-over-provision kwa woga. Agents ni nyepesi kwa asili; gharama ya sanduku dogo-mno ni resize moja, wakati gharama ya sanduku kubwa-mno ni kulipia idle RAM kila mwezi.
Ukiisha chagua saizi, agent inaweza kukodisha sanduku yenyewe kupitia MCP, au unaweza kuiagiza kwa dakika kwenye site. Kwa vyovyote, anza ndogo — utahitaji karibu kwa hakika chini ya ulivyotarajia.
Maoni
Bado hakuna maoni. Kuwa wa kwanza.