একটি scraper সেই ধরনের জিনিস যা আপনি একবার শুরু করেন ও সপ্তাহের পর সপ্তাহ চলতে চান — একটি price monitor, একটি research crawl, একটি dataset যা রাতভর ভরে। সেটি আপনার ল্যাপটপে থাকে না, আর অনেকের জন্য এটি এমন একটি হোস্টেও থাকে না যা আপনাকে একটি shell দেওয়ার আগে একটি পাসপোর্ট ও একটি কার্ড চায়। যে VPS আপনি একটি ইমেল দিয়ে sign up করেন ও ক্রিপ্টোতে পরিশোধ করেন তা কাজে মানায়: সবসময়-চালু, প্রাইভেট, ও আপনার।
এই যে এটি কীসে চালাবেন, কীভাবে সেট আপ করবেন, ও IP নিয়ে একটি সৎ জিনিস যা বেশিরভাগ গাইড এড়িয়ে যায়।
এখানে no-KYC আসলে কেন গুরুত্বপূর্ণ
বেশিরভাগ হোস্ট আপনার অ্যাকাউন্ট একটি ID ও একটি কার্ডের সাথে বাঁধে ও log করে। একটি ডেটা-সংগ্রহ প্রকল্পের জন্য সেটি একটি প্রাইভেসি-ফাঁস যা আপনার লাগে না — আপনার অবকাঠামো আপনার নাম ও আপনার scraping-কার্যকলাপের সাথে যুক্ত হয়ে যায়। একটি ইমেল ও ক্রিপ্টোতে পরিশোধ প্রকল্পটিকে আপনার পরিচয় থেকে আলাদা রাখে। এই দর্শকদের জন্য সেটাই আসল আকর্ষণ, দামের চেয়ে বেশি।
এটি কম ঘর্ষণও: একটি এককালীন crawl-এর জন্য একটি বক্স চালু করুন, এটিকে চলতে দিন, নামিয়ে ফেলুন — প্রতিবার কোনো অ্যাকাউন্ট-যাচাই নাচ নেই।
কী আকার — আর কীভাবে পরিশোধ করবেন
Sizing পুরোপুরি আপনি কীভাবে scrape করেন তার ওপর নির্ভর করে:
- সাধারণ HTTP (Scrapy,
requests+ BeautifulSoup)। হালকা। 1–2 GB RAM অনেক concurrent request সামলায় কারণ আপনি কিছু render করছেন না। - Headless browser (Playwright, Puppeteer, Selenium)। ক্ষুধার্ত। প্রতিটি Chromium ইনস্ট্যান্স 300–700 MB খায়, তাই 4 GB একটি বিবেচ্য মেঝে, কয়েকটি parallel চালালে বেশি। এটাই সাধারণ কারণ একটি scraping বক্সের আসল RAM লাগে।
পেমেন্টে: একটি ইমেল দিয়ে sign up করুন ও Base বা Ethereum-এ USDC বা USDT-তে পরিশোধ করুন — কোনো কার্ড, নথি নয়। একটি কার্ডও চলে, কিন্তু on-ramp-এর একটি ~$27 ন্যূনতম আছে, তাই একটি সস্তা প্ল্যানের জন্য একবার একটি ছোট balance top up করে তা থেকে টানা মসৃণতর।
সার্ভারের জন্য NAT যথেষ্ট — একটি scraper শুধু outbound call করে। আপনি শুধু তখনই একটি dedicated IP বাছবেন যদি আপনি একটি inbound কিছুও হোস্ট করেন (একটি API যা আপনি সংগ্রহ-করা ডেটা পরিবেশন করে)।
এটি চালু করা
SSH করে ঢুকুন ও আপনার toolchain সেট করুন। একটি headless-browser উদাহরণ, যেহেতু সেটাই কঠিনতর ক্ষেত্র:
sudo apt update && sudo apt install -y python3-venv
mkdir ~/scraper && cd ~/scraper
python3 -m venv venv && source venv/bin/activate
pip install playwright && playwright install --with-deps chromium
# বা একটি হালকা stack: pip install scrapy beautifulsoup4 httpx
# scrape.py — headless fetch
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
b = p.chromium.launch()
page = b.new_page()
page.goto("https://example.com")
print(page.title())
b.close()
ঘণ্টার পর ঘণ্টা চলা একটি crawl-এর জন্য, এটিকে একটি SSH সেশনে রাখবেন না — এটিকে একটি systemd সার্ভিসে মুড়ুন (বা দ্রুত run-এর জন্য tmux) যাতে এটি disconnect ও reboot টেকায়, যেকোনো process জীবিত রাখার একই প্যাটার্ন। একটি AI agent scrape চালালে, এটি এমনকি MCP-র মাধ্যমে নিজে বক্স ভাড়া নিতে পারে।
IP নিয়ে সৎ অংশ
এখানেই বেশিরভাগ "scraping-এর জন্য সেরা VPS" পোস্ট অতিরঞ্জন করে। একটি VPS আপনাকে একটি outbound IP সহ একটি সার্ভার দেয়। সেটি scraper চালানোর জন্য নিখুঁত — একটি পরিচ্ছন্ন, dedicated মেশিন যা সবসময় চালু। এটি একটি proxy সার্ভিস নয়, আর একটি IP আপনাকে একটি লক্ষ্যের চারপাশে নেবে না যা ঠিকানা অনুযায়ী block বা rate-limit করে।
আপনি স্কেলে scrape করছেন ও block-এ ঠেকছেন হলে, সমাধান আপনার request-এর সামনে একটি আলাদা proxy/rotation প্রোভাইডার — VPS আপনার কোড চালায়, proxy স্তর IP সামলায়। দুটি ভিন্ন কাজ। যে কেউ বলছে একটি বক্স বড়-মাপের IP blocking সমাধান করে সে আপনাকে কিছু বেচছে।
আর দায়িত্বশীলভাবে scrape করুন: robots.txt সম্মান করুন, আপনার request-হার throttle করুন, ও আপনি যা সংগ্রহ করছেন তার শর্তের ভেতরে থাকুন। একটি ভদ্র scraper একটি লোভী-র চেয়ে অনেক কম block হয়।
সতর্কতা
- CPU-only, একটি অঞ্চল (জার্মানি)। scraping যুক্তি ও headless browser-এর জন্য ঠিক; আপনার নির্দিষ্টভাবে একটি GPU বা একটি বিশেষ geo লাগলে, তা আগে জানুন।
- browser-এ RAM-এ নজর রাখুন। একটি leaking Playwright loop বক্স খাবে — page ও context বন্ধ করুন, concurrency cap করুন।
- এটি একটি সার্ভার, একটি জাদুকরী anonymizer নয়। No-KYC অ্যাকাউন্ট প্রাইভেট রাখে; লক্ষ্যের কাছে আপনার request কেমন দেখায় তা আপনার (ও আপনার proxy স্তরের) ওপর।
এর মধ্যে, একটি no-KYC VPS একটি scraper-এর একটি পরিচ্ছন্ন, প্রাইভেট ঘর যা কেবল চলতে থাকে। একটি প্ল্যান বাছুন, ক্রিপ্টোতে পরিশোধ করুন, ও মিনিটে আপনার collector online করুন।
মন্তব্য
এখনো কোনো মন্তব্য নেই। প্রথম হোন।