Sai lầm tôi thấy thường xuyên nhất với hosting agent là chọn kích cỡ cho thứ sai. Ai đó chạy một agent, nó dùng 400 MB, và họ kết luận các agent rẻ để host. Rồi họ mở rộng sang một đội thực và cỗ máy bắt đầu swap lúc 3 giờ sáng.
Một agent thì rẻ. Đó không phải trường hợp thú vị.
Bộ nhớ thực sự đi đâu
Một agent chỉ bắn các lệnh gọi API tới một mô hình thì nhẹ — nó chủ yếu chờ mạng. Bạn có thể chạy một tá cái đó trên một gói nhỏ và không bao giờ để ý.
RAM biến mất khi các agent bắt đầu giữ trạng thái. Lịch sử hội thoại tăng mỗi lượt. Một tập làm việc mà vài agent đọc và ghi. Một vector store cho bộ nhớ dài hạn nằm trong cùng tiến trình. Khoảnh khắc kiến trúc của bạn ngừng là "gọi API, quên" và trở thành "nhớ, điều phối, bàn giao," bộ nhớ trở thành ràng buộc, không phải CPU.
CrewAI, LangGraph, các vòng lặp kiểu AutoGPT — tất cả đều nghiêng theo hướng này khi chúng trở nên nghiêm túc. Framework không ngốn RAM; trạng thái mới ngốn.
Chọn kích cỡ đại khái, một cách trung thực
Tôi sẽ không giả vờ có một công thức, vì không có — nó phụ thuộc hoàn toàn vào mỗi agent giữ bao nhiêu quanh nó. Nhưng một cảm giác thực tế từ việc chạy những cái này:
- Các agent nhẹ, ràng buộc bởi API — bạn không cần Pro chút nào ở đây; một gói NAT hoặc IP riêng ($3–20) xử lý nó. Pro xứng đáng có mặt một khi trạng thái chung đẩy bạn qua ~32 GB.
- 32 GB — điểm ngọt cho một hệ thống đa agent thực: 5–10 agent với bộ nhớ chung cộng một cơ sở dữ liệu vector thực sự hữu ích. Hầu hết mọi người rơi vào đây.
- 64 GB — các đội lớn hơn, lịch sử dài hơn, một chỉ mục bộ nhớ hàng triệu vector, hoặc vài dịch vụ đặt chung. Đây là nơi một cỗ máy thay thế ba cái nhỏ hơn mà bạn phải xoay xở.
- 80 GB — công việc nặng, ràng buộc bởi bộ nhớ: các tập dữ liệu lớn trong bộ nhớ, nhiều agent đồng thời, hoặc agent cộng suy luận mô hình cục bộ trên cùng host.
Bắt đầu dưới mức bạn nghĩ mình cần. Xem htop một ngày. Đổi kích cỡ lên khi bạn thấy swap, không phải trước đó — đoán cao chỉ phí tiền.
Phần khó mua
Đây là điều làm chuyện này khó xử: thuê 64 GB RAM thì dễ. Thuê 64 GB với crypto và không kiểm tra danh tính thì không. Hầu hết các nhà cung cấp bán bộ nhớ nghiêm túc giá rẻ làm điều đó sau một thẻ và một biểu mẫu KYC.
Nếu agent của bạn tự cấp phát máy chủ của nó, hoặc khối lượng công việc chạm vào dữ liệu bạn thà không gắn với một cái tên, sự kết hợp đó — bộ nhớ lớn, crypto, không KYC, và đặt được bởi chính agent qua MCP — là sản phẩm thật sự. Nó không rẻ hơn trên mỗi gigabyte, và tôi đã viết riêng về vì sao so sánh đó gây hiểu lầm. Nó có sẵn theo các điều kiện mà gần như không ai cung cấp.
Vậy bạn làm gì
Nếu các agent của bạn nhẹ và ràng buộc bởi API, đừng nghĩ quá nhiều — một gói NAT hoặc IP riêng nhỏ là dư dả, bỏ qua cả câu hỏi bộ nhớ lớn. Nếu bạn chạy một đội thực giữ trạng thái, chọn kích cỡ theo cái thực sự trong bộ nhớ, bắt đầu ở 32 GB, và nâng lên khi biểu đồ bảo bạn làm vậy.
Khi bạn ở đó, dòng Pro bao phủ 32 đến 80 GB với một IP riêng và sao lưu hàng đêm. Chọn cấp khớp với tập làm việc của bạn, không phải tham vọng của bạn.
Bình luận
Chưa có bình luận nào. Hãy là người đầu tiên.