"আমার AI agent-এর কত সার্ভার দরকার?"-র সৎ উত্তর: আপনার ভাবনার চেয়ে কম — ঠিক ততক্ষণ যতক্ষণ না হঠাৎ নয়। কৌশল হলো আপনার workload সেই রেখার কোন দিকে বসে তা জানা। তাই অনুমানের বদলে, এই যে প্রতিটি ধরনের agent আসলে কী ব্যবহার করে।
যে এক প্রশ্ন সবকিছু ঠিক করে
মডেল কি আপনার সার্ভারে চলে, নাকি আপনার agent একটি API-র ওপর একটি মডেল ডাকে?
আপনার agent একটি hosted LLM-এর সাথে কথা বললে (সাধারণ ক্ষেত্র), চতুর, দামি অংশটা অন্য কারো হার্ডওয়্যারে ঘটে। আপনার বক্স কেবল একটি orchestration loop চালায়: input নাও, API ডাকো, ফল parse করো, হয়তো একটি database-এ আঘাত করো, পুনরাবৃত্তি করো। সেটি হালকা। সত্যিই হালকা — একটি 1 GB বক্স তা ঘাম না-ঝরিয়ে করে।
আপনি মডেলটি local-ভাবে চালালে, সবকিছু বদলায়: এখন RAM মডেল-weight-এ প্রাধান্য পায়, আর আপনি প্রতিটি core চাইবেন। বেশিরভাগ মানুষের এটি লাগে না। যাদের লাগে তারা সাধারণত ঠিক জানে কেন (প্রাইভেসি, কোনো rate limit নেই, offline)। ওটা আপনি হলে, আমরা একটি local LLM সেলফ-হোস্টিং নিয়ে একটি আলাদা গাইড লিখেছি।
Workload অনুযায়ী sizing
আসল সংখ্যা, যেগুলোতে আপনি কাজ করতে পারেন:
| Workload | RAM | vCPU | ডিস্ক | নোট |
|---|---|---|---|---|
| Chat / assistant agent (API-backed) | 1 GB | 2 | 15 GB | loop ক্ষুদ্র; মডেল remote |
| Scraper / data agent | 2 GB | 2 | 25 GB | parsing + scrape-করা ডেটার headroom |
| Trading bot | 1–2 GB | 2 | 15–25 GB | আকারের চেয়ে latency বেশি গুরুত্বপূর্ণ — trading bot গাইড দেখুন |
| কয়েকটি agent parallel | 4 GB | 4 | 35 GB | প্রতিটি agent সস্তা; concurrency জমে |
| Local LLM, 3B–7B (quantized) | 4–6 GB | 4–6 | 25–45 GB | CPU-only, একটি পাঠযোগ্য গতিতে চলে, bulk নয় |
প্যাটার্ন: API-backed agent ক্ষুদ্র; local মডেলই একমাত্র জিনিস যা ভারী।
কোথায় একটি CPU বক্স থামে
সীমা নিয়ে স্পষ্ট থাকা: আমাদের প্ল্যান 6 GB RAM ও 6 core, CPU-only — কোনো GPU নেই-তে সর্বোচ্চ। এটি উপরের টেবিলের সবকিছু কভার করে, ব্যক্তিগত ব্যবহারের জন্য একটি 7B local মডেল সহ। এটি যা কভার করে না: 13B+ মডেল, উচ্চ-throughput local inference, বা এমন যেকোনো কিছু যার সত্যিই একটি GPU লাগে। ওটা আপনার workload হলে, একটি CPU VPS — আমাদের বা যে কারোর — ভুল টুল, আর deploy করার পরে জানার চেয়ে এখনই জানা ভালো।
যে 95% agent একটি API ডাকে, তাদের জন্য এর কিছুই একটি সমস্যা নয়। এরা সবচেয়ে ছোট বক্সে খুশি।
একটি ব্যবহারিক মোদ্দা নিয়ম
- শুধু একটি agent যা একটি API ডাকে? 1 GB / 2 core-এ শুরু করুন। পরে resize করতে পারেন।
- Scraping বা ডেটা সঞ্চয়? 2 GB ও একটি বড় ডিস্ক।
- কয়েকটি agent, বা একটি ছোট local মডেল চালাচ্ছেন? 4–6 GB ও 4+ core।
- একটি GPU লাগে? ভিন্ন শ্রেণি — এটিকে CPU-তে জোর করবেন না।
নার্ভাসনেস থেকে বেশি provision করবেন না। agent প্রকৃতিগতভাবে হালকা; একটি খুব-ছোট বক্সের খরচ একটি resize, যেখানে একটি খুব-বড় বক্সের খরচ প্রতি মাসে idle RAM-এর জন্য পরিশোধ।
আপনি একটি আকার বাছলে, একটি agent MCP-র মাধ্যমে নিজে বক্স ভাড়া নিতে পারে, বা আপনি সাইটে এক মিনিটে এটি অর্ডার করতে পারেন। যেভাবেই হোক, ছোট শুরু করুন — আপনি প্রায় নিশ্চিতভাবেই প্রত্যাশার চেয়ে কম লাগবে।
মন্তব্য
এখনো কোনো মন্তব্য নেই। প্রথম হোন।