VPS للكشط: الإعداد، تحديد الحجم، والحدود الصادقة

كاشط على حاسوبك المحمول جيّد حتى تُغلقه في منتصف التشغيل، أو يُحدّ معدّل IP منزلك، أو تريد المهمّة نفسها تعمل كل ساعة سواء كنت مستيقظًا أم لا. نقله إلى VPS يُصلح الثلاثة: يبقى مشتغلًا على مدار الساعة، لا يحرق سمعة IP منزلك، وcron أو مؤقّت systemd يُشغّله في الموعد دونك. إليك كيف تُعدّ ذلك، وكم من الخادم تحتاجه فعلًا، والأجزاء التي تتخطّاها معظم الأدلّة بهدوء.

لماذا VPS يتفوّق على آلتك لهذا

• على مدار الساعة ومجدول. كاشط يعمل كل ساعة يحتاج مضيفًا دائم التشغيل. الحاسوب المحمول ليس كذلك.
• IP منزلك يبقى نظيفًا. الكشط من المنزل يعني أنّ IP منزلك السكني يأخذ حدود المعدّل والحجب. افعله من خادم ويبقى اتصالك دون مساس.
• الاستقرار. لا نوم، لا سقوط واي-فاي في منتصف الزحف، اتصال مركز بيانات ثابت، ومكان لتراكم النتائج.

الحزمة، وما يحتاجه كل جزء

فئتا وزن مختلفتان جدًا، واختيار الخطة الخطأ يُهدر المال أو يجوّع المهمّة:

• httpx / requests (Python) — لـ APIs، ونقاط JSON، وHTML ثابت. هذا خفيف: العملية تجلس في عشرات الميغابايتات، مقيّدة بالشبكة، لا بالمعالج. Nano بـ 3$ (1 vCPU / 1 GB) يُشغّل هذا بأريحية، حتى بالتزامن عبر asyncio.
• Playwright / Chromium بلا رأس — لمواقع مُصيَّرة بـ JavaScript حيث تحتاج متصفّحًا حقيقيًا. هذا الثقيل. Chromium بلا رأس نحو 300–400 MB لكل مثيل متصفّح، زائد 100–200 MB لكل سياق/تبويب مفتوح، زائد بيئتك. خصّص:
  • Micro بـ 5$ (2 vCPU / 2 GB) — سياق متصفّح أو اثنان في المرة.
  • Small بـ 8$ (4 vCPU / 4 GB) — عدّة سياقات متوازية، أو صفحات أثقل.

القاعدة التقريبية: شيفرتك تكاد لا تكون العنق أبدًا — Chromium هو. حدّد الحجم للمتصفّح، لا للكاشط.

الجدولة: مؤقّت systemd بدل cron

cron يعمل، لكن مؤقّت systemd افتراضي أفضل على خادم تصونه: سجلّات عبر journalctl، لحاق إن كان الصندوق مطفأً، وحالة لكل تشغيل تفحصها. إعداد أدنى:

# /etc/systemd/system/scrape.service
[Unit]
Description=Run scraper
[Service]
Type=oneshot
User=scraper
WorkingDirectory=/home/scraper/job
ExecStart=/home/scraper/job/venv/bin/python scrape.py

# /etc/systemd/system/scrape.timer
[Unit]
Description=Hourly scrape
[Timer]
OnCalendar=hourly
Persistent=true
[Install]
WantedBy=timers.target

sudo systemctl enable --now scrape.timer
journalctl -u scrape.service -f   # راقب التشغيلات

Persistent=true هو ما لا يستطيع cron فعله: إن كان الخادم مطفأً وقت التشغيل، تُطلق المهمّة مرة عند الإقلاع بدل التخطّي بصمت.

أين تذهب النتائج

أبقِها بسيطة وطابق الحجم: SQLite للبيانات المنظّمة التي ستستعلمها (ملف واحد، بلا إعداد)، CSV للتفريغات الجدولية السريعة، أو تخزين كائنات متوافق مع S3 حين تتجاوز النتائج الصندوق أو تريدها خارج الخادم. دوّر سجلّاتك (logrotate أو حدود journald) كي لا يملأ كاشط ثرثار القرص ببطء.

الجزء الصادق: IP الخروج والسمعة

هذا التفصيل يقرّر ما إذا كان كاشطك يعمل أسبوعًا أم يُحجب في اليوم الأول.

على خطة NAT، الحركة الصادرة تشارك IP خروج واحدًا مع عملاء آخرين. سمعة ذلك الـ IP مشتركة — جار يكشط الهدف نفسه قد يجعل العنوان محدود المعدّل قبل أن ترسل طلبًا واحدًا. جيّد للكشط الخفيف العرضي؛ عبء على الحجم.

IP مخصّص يمنحك سمعة خروجك الخاصة — لا يؤثّر سلوك أحد آخر عليها. لكنه يقطع في الاتجاهين: الكشط العدواني يحرق IP-ك النظيف الخاص، وحالما يحجبه هدف، فهو محجوب. IP مخصّص تحكّم، لا حصانة.

على النطاق الحقيقي، تحتاج تجمّعات بروكسي خارجية. لا IP واحد — مشترك أو مخصّص — يستطيع توزيع الحِمل عبر عناوين كثيرة، وهو ما يتطلّبه الكشط الجادّ ضدّ أهداف محدودة المعدّل بالـ IP. البروكسيات طبقة عامة من طرف ثالث تضيفها فوق؛ الـ VPS يُشغّل الكاشط، وتجمّع البروكسي يوفّر العناوين. لا تتوقّع من IP خادم واحد أن يقوم بعمل تجمّع بروكسي.

الأخلاقيات وسياسة الاستخدام المقبول — ليست اختيارية

الكشط يعيش في منطقة رمادية قانونيًا وأخلاقيًا، فكن واضح البصيرة:

• احترم حدود المعدّل وrobots.txt. اكبح طلباتك. كاشط مهذّب يبدو كحركة؛ غير المهذّب يبدو كهجوم.
• لا تُغرِق هدفك. طرق موقع حتى يسقط ليس كشطًا، بل حجب خدمة — وهو انتهاك للاستخدام المقبول هنا يُنهي الخدمة.
• اكشط فقط ما يُسمح لك. جمع البيانات القانوني المسموح هو الخطّ. تجاوزه فهو عليك.

الخلاصة الصادقة

VPS هو البيت الصحيح لكاشط: دائم التشغيل، مجدول، وبعيدًا عن IP منزلك. طابق الخطة مع الحزمة — Nano بـ 3$ لـ httpx، Micro بـ 5$ إلى Small بـ 8$ لـ Playwright — جدول بمؤقّت systemd، وكن صادقًا بشأن الـ IPs: الخروج المشترك يشارك السمعة، IP مخصّص لك تبنيه أو تحرقه، والنطاق الحقيقي يعني تجمّعات بروكسي. أحكِم الصندوق أولًا بـقائمة أمان الـ VPS الجديد، حدّد حجمه صحيحًا بـدليل تحديد حجم الـ VPS، وإن كانت خصوصية الدفع-دون-بطاقة تهمّ، فـتفصيل الـ VPS المجهول هو النسخة الصادقة. اكشط بمسؤولية — سياسة الاستخدام المقبول حقيقية.

مستعدّ للكشط؟ خطة Micro بداية صلبة؛ الزحوف المتوازية الكبيرة أفضل على Small.