Kesalahan yang paling sering saya lihat dengan hosting agen adalah menentukan ukuran untuk hal yang salah. Seseorang menjalankan satu agen, ia memakai 400 MB, dan mereka menyimpulkan agen murah untuk di-host. Lalu mereka menskala ke tim nyata dan mesin mulai swap pada jam 3 pagi.
Satu agen memang murah. Itu bukan kasus yang menarik.
Ke mana memori sebenarnya pergi
Agen yang hanya menembakkan panggilan API ke model itu ringan — ia kebanyakan menunggu jaringan. Anda bisa menjalankan selusin dari itu pada paket kecil dan tidak pernah menyadarinya.
RAM lenyap saat agen mulai memegang state. Riwayat percakapan yang tumbuh tiap giliran. Kumpulan kerja yang dibaca dan ditulis beberapa agen. Penyimpanan vektor untuk memori jangka-panjang yang berada di proses yang sama. Begitu arsitektur Anda berhenti menjadi "panggil API, lupakan" dan menjadi "ingat, koordinasikan, serahkan," memori menjadi kendalanya, bukan CPU.
Loop gaya CrewAI, LangGraph, AutoGPT — semuanya cenderung ke arah ini saat menjadi serius. Framework tidak memakan RAM; state-nya yang memakan.
Dimensi kasar, jujurnya
Saya tidak akan berpura-pura ada rumus, karena tidak ada — itu sepenuhnya tergantung seberapa banyak yang disimpan tiap agen. Tapi rasa praktis dari menjalankan ini:
- Agen ringan, terikat-API — Anda tidak butuh Pro sama sekali di sini; paket NAT atau IP-khusus ($3–20) menanganinya. Pro mendapat tempatnya begitu state bersama mendorong Anda melewati ~32 GB.
- 32 GB — titik ideal untuk sistem multi-agen nyata: 5–10 agen dengan memori bersama plus basis data vektor yang benar-benar berguna. Kebanyakan orang mendarat di sini.
- 64 GB — armada lebih besar, riwayat lebih panjang, indeks memori dalam jutaan vektor, atau beberapa layanan koubikasi. Di sinilah satu mesin menggantikan tiga yang lebih kecil yang jika tidak harus Anda kelola bersamaan.
- 80 GB — kerja berat terikat-memori: kumpulan data besar di memori, banyak agen serentak, atau agen plus inferensi model lokal pada host yang sama.
Mulai di bawah tempat Anda pikir Anda butuh. Awasi htop selama sehari. Ubah ukuran naik saat Anda melihat swap, bukan sebelumnya — menebak tinggi hanya membuang uang.
Bagian yang sulit dibeli
Berikut hal yang membuat ini canggung: menyewa 64 GB RAM itu mudah. Menyewa 64 GB dengan kripto dan tanpa pemeriksaan identitas tidak. Kebanyakan host yang menjual memori serius dengan murah melakukannya di balik kartu dan formulir KYC.
Jika agen Anda menyiapkan servernya sendiri, atau beban kerja menyentuh data yang lebih baik tidak Anda ikat ke sebuah nama, kombinasi itu — memori tinggi, kripto, tanpa KYC, dan dapat dipesan oleh agen sendiri lewat MCP — adalah produk sebenarnya. Ini tidak lebih murah per gigabyte, dan saya sudah menulis terpisah tentang mengapa perbandingan itu menyesatkan. Ia tersedia dengan syarat yang hampir tidak ditawarkan siapa pun.
Jadi apa yang Anda lakukan
Jika agen Anda ringan dan terikat-API, jangan terlalu memikirkannya — paket NAT atau IP-khusus kecil sudah cukup, lewati seluruh pertanyaan memori-tinggi. Jika Anda menjalankan armada nyata yang memegang state, tentukan ukuran berdasarkan apa yang sebenarnya di memori, mulai di 32 GB, dan naik saat grafik memberitahu Anda.
Saat Anda di sana, lini Pro mencakup 32 hingga 80 GB dengan IP khusus dan cadangan malam. Pilih tingkat yang cocok dengan kumpulan kerja Anda, bukan ambisi Anda.
Komentar
Belum ada komentar. Jadilah yang pertama.