爬蟲是那種您啟動一次、想讓它跑上幾周的東西——一個價格監控、一次研究性爬取、一個連夜填滿的資料集。那不屬於您的筆電,而對很多人來說,它也不屬於一個在給您 shell 之前要護照和卡的主機。一台您用電子郵件註冊、用加密貨幣付款的 VPS 正合適:始終線上、私密、屬於您。
下面是用什麼來跑它、怎麼搭,以及一件多數指南跳過的、關於 IP 的誠實事。
為什麼免 KYC 在這裡真的要緊
大多數主機把您的帳戶綁到一張證件和一張卡上,並記錄下來。對一個資料採集專案,那是您不需要的隱私洩露——您的基礎設施最後跟您的名字和您的抓取活動掛了鉤。用一個電子郵件和加密貨幣付款,讓專案和您的身分分開。對這類讀者,那才是真正的吸引力,比價格更重要。
它也只是摩擦更小:為一次性爬取開一台機器、讓它跑、拆掉——不用每次都跳一支帳戶驗證之舞。
多大規格——以及您怎麼付款
設定完全取決於您怎麼抓:
- 純 HTTP(Scrapy、
requests+ BeautifulSoup)。 輕。1–2 GB 記憶體能應付很多同時執行請求,因為您不渲染任何東西。 - 無頭瀏覽器(Playwright、Puppeteer、Selenium)。 餓。每個 Chromium 執行個體吃 300–700 MB,所以 4 GB 是合理的下限,並行跑幾個就更多。這是一台抓取機器需要真實 RAM 的常見原因。
關於付款:用一個電子郵件註冊、用 Base 或 Ethereum 上的 USDC 或 USDT 付款——不用卡、不用檔案。信用卡也能用,但 on-ramp 有約 $27 的最低額,所以對便宜方案,一次充一小筆餘額、從裡面扣更順。
對伺服器,NAT 就夠——爬蟲只發對外呼叫。只有當您還託管某個對內的東西(一個提供您採集資料的 API)時,才選獨立IP。
讓它跑起來
SSH 進去、搭好您的工具鏈。一個無頭瀏覽器的例子,因為那是更難的情形:
sudo apt update && sudo apt install -y python3-venv
mkdir ~/scraper && cd ~/scraper
python3 -m venv venv && source venv/bin/activate
pip install playwright && playwright install --with-deps chromium
# 或者一個輕量棧: pip install scrapy beautifulsoup4 httpx
# scrape.py —— 無頭抓取
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
b = p.chromium.launch()
page = b.new_page()
page.goto("https://example.com")
print(page.title())
b.close()
對一次要跑幾個小時的爬取,別把它留在一個 SSH 工作階段裡——用一個 systemd 服務(或做快速跑用 tmux)把它包起來,這樣它熬過斷開和重新啟動,和讓任何程式保活是同一個套路。如果是一個 AI 代理在驅動抓取,它甚至能透過 MCP 自己租下這台機器。
關於 IP 的誠實部分
這是多數「最佳抓取 VPS」帖子誇大的地方。一台 VPS 給您一台帶一個對外 IP 的伺服器。那對跑爬蟲很完美——一台乾淨、專屬、始終線上的機器。它不是一個代理服務,一個 IP 也繞不過一個按位址封禁或限速的目標。
如果您在大規模抓取、撞到封禁,解法是在您請求前面放一個單獨的代理/輪換服務供應商——VPS 跑您的程式碼,代理層處理 IP。兩個不同的活。任何跟您說一台機器能解決大規模 IP 封禁的人,都在賣給您東西。
而且負責任地抓:尊重 robots.txt、節流您的請求速率、待在您所採集內容的條款之內。一個有禮貌的爬蟲比一個貪婪的被封得少得多。
注意事項
- 純 CPU、一個地區(歐盟)。 對抓取邏輯和無頭瀏覽器沒問題;如果您特別需要 GPU 或某個特定地理位置,先知道這點。
- 用瀏覽器時盯住 RAM。 一個洩漏的 Playwright 迴圈會吃掉機器——關掉頁面和上下文、給同時執行設上限。
- 它是一台伺服器,不是一個魔法匿名器。 免 KYC 讓帳戶私密;您的請求在目標看來是什麼樣,取決於您(和您的代理層)。
在這之內,一台免 KYC VPS 是一個乾淨、私密、讓爬蟲一直跑下去的家。挑一個方案、用加密貨幣付款,幾分鐘內讓您的採集器上線。
評論
目前還沒有評論。歡迎成為第一位。