スクレイパーは、一度始めて数週間動かしたいたぐいのもの — 価格モニター、リサーチクロール、夜通し埋まるデータセット。それはノートPCに属さず、多くの人にとって、シェルを渡す前にパスポートとカードを求めるホストにも属しません。メールでサインアップし暗号通貨で払うVPSがその仕事に合います:常時稼働、プライベート、あなたのもの。
ここに、何で動かすか、どう設定するか、そしてほとんどのガイドが飛ばすIPについての正直なこと一つを。
ここでKYC不要が実際に大事な理由
ほとんどのホストはアカウントをIDとカードに結び、ログします。データ収集プロジェクトにはそれは要らないプライバシーの漏れ — インフラがあなたの名前とスクレイピング活動に結びつきます。メールと暗号通貨で払えばプロジェクトを身元から切り離せます。この読者にとってはそれが、価格以上の本当の魅力です。
摩擦が少ないだけでもあります:単発のクロールのために箱を立ち上げ、走らせ、壊す — 毎回アカウント確認の踊りなし。
どのサイズか — そしてどう払うか
サイジングはどうスクレイプするかに完全に依ります:
- 素のHTTP(Scrapy、
requests+ BeautifulSoup)。 軽い。何もレンダリングしないので1〜2 GB RAMが多くの同時リクエストを処理。 - ヘッドレスブラウザ(Playwright、Puppeteer、Selenium)。 大食い。Chromiumインスタンスごとに300〜700 MB食べるので、4 GBが妥当な下限、並列で複数なら もっと。これがスクレイピングの箱に実際のRAMが要る通常の理由。
支払いについて:メールでサインアップし、BaseまたはEthereum上のUSDCやUSDTで払います — カードも書類もなし。カードも使えますが、オンランプに〜$27の最低額があるので、安いプランには小さな残高を一度チャージしそこから引くほうが滑らか。
サーバーにはNATで十分 — スクレイパーはアウトバウンドの呼び出しだけをします。専用IPを選ぶのは、インバウンドの何か(収集したデータを提供するAPI)もホストする場合だけ。
動かす
SSHで入りツールチェーンをセットアップ。難しいケースなのでヘッドレスブラウザの例を:
sudo apt update && sudo apt install -y python3-venv
mkdir ~/scraper && cd ~/scraper
python3 -m venv venv && source venv/bin/activate
pip install playwright && playwright install --with-deps chromium
# または軽量スタック: pip install scrapy beautifulsoup4 httpx
# scrape.py — ヘッドレスフェッチ
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
b = p.chromium.launch()
page = b.new_page()
page.goto("https://example.com")
print(page.title())
b.close()
何時間も走るクロールには、SSHセッションに置いておかないこと — systemdサービス(または手早い実行にはtmux)で包み、切断と再起動を生き延びるように、どのプロセスも生かし続ける同じパターン。AIエージェントがスクレイプを駆動しているなら、MCP経由で箱を自分で借りることもできます。
IPについての正直な部分
ここでほとんどの「スクレイピングに最適なVPS」記事が売り込み過ぎます。VPSは一つのアウトバウンドIPを持つ一つのサーバーを与えます。スクレイパーを走らせるには完璧です — きれいで専用の、常時稼働のマシン。それはプロキシサービスではなく、一つのIPはアドレスでブロックやレート制限をするターゲットを回避してくれません。
大規模にスクレイプしてブロックに当たっているなら、直し方はリクエストの前段の別のプロキシ/ローテーション提供者 — VPSがコードを走らせ、プロキシ層がIPを扱います。二つの別の仕事。一つの箱が大規模なIPブロッキングを解決すると言う者は何かを売っています。
そして責任をもってスクレイプを:robots.txt を尊重し、リクエストレートを絞り、収集するものの条件の中に留まる。丁寧なスクレイパーは貪欲なものよりはるかにブロックされません。
但し書き
- CPUのみ、一つのリージョン(ドイツ)。 スクレイピングのロジックとヘッドレスブラウザには問題なし;特にGPUや特定のジオが要るなら、先に知っておくこと。
- ブラウザではRAMを見張る。 リークするPlaywrightのループは箱を食います — ページとコンテキストを閉じ、並行数を上限に。
- サーバーであって魔法の匿名化装置ではない。 KYC不要はアカウントをプライベートに保ち;リクエストがターゲットにどう見えるかはあなた(とプロキシ層)次第。
その範囲で、KYC不要のVPSは、ただ動き続けるスクレイパーのためのきれいでプライベートな住処です。プランを選び、暗号通貨で払い、コレクターを数分でオンラインに。
コメント
まだコメントはありません。最初になりましょう。