आपके लैपटॉप पर एक स्क्रैपर ठीक है जब तक आप इसे रन के बीच बंद न करें, आपका घरेलू IP दर-सीमित न हो, या आप वही जॉब हर घंटे चलाना चाहें चाहे आप जागे हों या न हों। इसे एक VPS पर ले जाना तीनों ठीक करता है: यह 24/7 चालू रहता है, यह आपके घरेलू IP की प्रतिष्ठा नहीं जलाता, और cron या एक systemd टाइमर इसे बिना आपके शेड्यूल पर चलाता है। यहाँ है इसे कैसे सेट करें, आपको असल में कितने सर्वर की ज़रूरत है, और वे हिस्से जिन्हें ज़्यादातर गाइड चुपचाप छोड़ती हैं।
इसके लिए एक VPS आपकी मशीन को क्यों हराता है
- 24/7 और निर्धारित। एक स्क्रैपर जो हर घंटे चलता है उसे एक ऐसा होस्ट चाहिए जो हमेशा चालू हो। एक लैपटॉप नहीं है।
- आपका घरेलू IP साफ़ रहता है। घर से स्क्रैप करना मतलब आपका आवासीय IP दर-सीमाएँ और ब्लॉक झेलता है। इसे एक सर्वर से करें और आपका अपना कनेक्शन अछूता रहता है।
- स्थिरता। कोई स्लीप नहीं, क्रॉल के बीच कोई wifi ड्रॉप नहीं, एक स्थिर डेटासेंटर कनेक्शन, और नतीजे जमा करने की एक जगह।
स्टैक, और हर हिस्से को क्या चाहिए
दो बहुत अलग भार वर्ग, और ग़लत प्लान चुनना पैसा बर्बाद करता है या जॉब को भूखा रखता है:
- httpx / requests (Python) — API, JSON एंडपॉइंट, और स्टैटिक HTML के लिए। यह हल्का है: प्रोसेस दसियों मेगाबाइट में बैठती है, नेटवर्क-बद्ध, CPU-बद्ध नहीं। एक $3 Nano (2 vCPU / 1 GB) इसे आराम से चलाता है,
asyncioके ज़रिए समवर्तीता के साथ भी। - Playwright / हेडलेस Chromium — JavaScript-रेंडर की गई साइटों के लिए जहाँ आपको एक असली ब्राउज़र चाहिए। यह भारी वाला है। हेडलेस Chromium मोटे तौर पर प्रति ब्राउज़र इंस्टेंस 300–400 MB है, प्लस प्रति खुले संदर्भ/टैब 100–200 MB, प्लस आपका रनटाइम। बजट:
- $5 Micro (2 vCPU / 2 GB) — एक बार में एक या दो ब्राउज़र संदर्भ।
- $8 Small (4 vCPU / 4 GB) — कई समानांतर संदर्भ, या भारी पेज।
अंगूठे का नियम: आपका कोड लगभग कभी बाधा नहीं होता — Chromium होता है। ब्राउज़र के लिए साइज़ करें, स्क्रैपर के लिए नहीं।
शेड्यूलिंग: cron के बजाय systemd टाइमर
cron काम करता है, पर एक systemd टाइमर एक ऐसे सर्वर पर जिसे आप बनाए रखते हैं बेहतर डिफ़ॉल्ट है: journalctl के ज़रिए लॉग, बॉक्स के डाउन होने पर कैच-अप, और जाँच-योग्य प्रति-रन स्थिति। एक न्यूनतम सेटअप:
# /etc/systemd/system/scrape.service
[Unit]
Description=Run scraper
[Service]
Type=oneshot
User=scraper
WorkingDirectory=/home/scraper/job
ExecStart=/home/scraper/job/venv/bin/python scrape.py
# /etc/systemd/system/scrape.timer
[Unit]
Description=Hourly scrape
[Timer]
OnCalendar=hourly
Persistent=true
[Install]
WantedBy=timers.target
sudo systemctl enable --now scrape.timer
journalctl -u scrape.service -f # रन देखें
Persistent=true वह हिस्सा है जो cron नहीं कर सकता: अगर सर्वर रन समय पर बंद था, जॉब चुपचाप छोड़ने के बजाय बूट पर एक बार फ़ायर करता है।
नतीजे कहाँ जाते हैं
इसे सरल रखें और वॉल्यूम से मिलाएँ: संरचित डेटा के लिए जिसे आप क्वेरी करेंगे SQLite (एक फ़ाइल, शून्य सेटअप), झटपट सारणीबद्ध डंप के लिए CSV, या जब नतीजे बॉक्स से बड़े हों या आप उन्हें सर्वर से बाहर चाहें तो एक S3-संगत ऑब्जेक्ट स्टोर। अपने लॉग घुमाएँ (logrotate या journald सीमाएँ) ताकि एक बातूनी स्क्रैपर धीरे-धीरे डिस्क न भरे।
ईमानदार हिस्सा: egress IP और प्रतिष्ठा
यही वह विवरण है जो तय करता है कि आपका स्क्रैपर एक हफ़्ता काम करता है या पहले दिन ब्लॉक हो जाता है।
एक NAT प्लान पर, आउटबाउंड ट्रैफ़िक दूसरे ग्राहकों के साथ एक egress IP साझा करता है। उस IP की प्रतिष्ठा साझा है — वही लक्ष्य स्क्रैप करता एक पड़ोसी पते को आपके एक भी अनुरोध भेजने से पहले दर-सीमित करा सकता है। हल्की, कभी-कभार स्क्रैपिंग के लिए ठीक; वॉल्यूम पर एक देनदारी।
एक डेडिकेटेड IP आपको अपनी ख़ुद की egress प्रतिष्ठा देता है — किसी और का व्यवहार इसे प्रभावित नहीं करता। पर यह दोनों तरफ़ काटता है: आक्रामक स्क्रैपिंग आपका ख़ुद का साफ़ IP जलाती है, और एक बार जब एक लक्ष्य इसे ब्लॉक करे, यह ब्लॉक है। एक डेडिकेटेड IP नियंत्रण है, प्रतिरक्षा नहीं।
असली पैमाने पर, आपको बाहरी प्रॉक्सी पूल चाहिए। कोई अकेला IP — साझा या डेडिकेटेड — लोड को कई पतों में नहीं फैला सकता, जो IP-दर-सीमित लक्ष्यों के ख़िलाफ़ गंभीर स्क्रैपिंग की माँग है। प्रॉक्सी एक जेनेरिक, तीसरे-पक्ष परत हैं जो आप ऊपर जोड़ते हैं; VPS स्क्रैपर चलाता है, प्रॉक्सी पूल पते देता है। एक सर्वर IP से एक प्रॉक्सी पूल का काम करने की उम्मीद न करें।
नैतिकता और AUP — वैकल्पिक नहीं
स्क्रैपिंग एक क़ानूनी और नैतिक धूसर क्षेत्र में रहती है, तो स्पष्ट-दृष्टि रखें:
- दर सीमाओं और robots.txt का सम्मान करें। अपने अनुरोध थ्रॉटल करें। एक विनम्र स्क्रैपर ट्रैफ़िक जैसा दिखता है; एक अविनम्र एक हमले जैसा।
- अपने लक्ष्य को DoS न करें। एक साइट को गिरने तक हथौड़े मारना स्क्रैपिंग नहीं, यह एक denial-of-service है — और यह यहाँ एक स्वीकार्य-उपयोग उल्लंघन है जो सेवा समाप्त करा देता है।
- सिर्फ़ वह स्क्रैप करें जो आपको अनुमत है। क़ानूनी, अनुमत डेटा संग्रह रेखा है। इसे पार करें और यह आप पर है।
लब्बोलुआब
एक VPS एक स्क्रैपर के लिए सही घर है: हरदम-चालू, निर्धारित, और आपके घरेलू IP से दूर। प्लान को स्टैक से मिलाएँ — httpx के लिए $3 Nano, Playwright के लिए $5 Micro से $8 Small — एक systemd टाइमर से शेड्यूल करें, और IP के बारे में ईमानदार रहें: साझा egress प्रतिष्ठा साझा करता है, एक डेडिकेटेड IP आपकी बनाने या जलाने के लिए है, और असली पैमाना मतलब प्रॉक्सी पूल। पहले नई-VPS सुरक्षा चेकलिस्ट से बॉक्स को बंद करें, VPS साइज़िंग गाइड से इसे सही आकार दें, और अगर बिना-कार्ड भुगतान निजता मायने रखती है, गुमनाम VPS ब्यौरा ईमानदार संस्करण है। ज़िम्मेदारी से स्क्रैप करें — AUP असली है।
स्क्रैप के लिए तैयार? एक Micro प्लान एक ठोस शुरुआत है; बड़े समवर्ती क्रॉल Small पर बेहतर करते हैं।
टिप्पणियाँ
अभी तक कोई टिप्पणी नहीं। पहले बनें।