Bir kazıyıcı, bir kez başlatıp haftalarca çalışır tutmak istediğin türden bir şeydir — bir fiyat izleyici, bir araştırma taraması, gece boyunca dolan bir veri kümesi. Bu, dizüstüne ait değildir ve birçok kişi için, sana bir kabuk vermeden önce pasaport ve kart isteyen bir barındırıcıya da ait değildir. Bir e-posta ile kaydolup kripto ile ödediğin bir VPS işe uyar: her zaman açık, gizli ve senin.
İşte üzerinde neyi çalıştıracağın, nasıl kuracağın ve çoğu rehberin atladığı IP'lerle ilgili dürüst bir şey.
Neden KYC yok burada gerçekten önemli
Çoğu barındırıcı hesabını bir kimliğe ve bir karta bağlar ve kaydeder. Bir veri toplama projesi için bu, ihtiyacın olmayan bir gizlilik sızıntısıdır — altyapın adına ve kazıma faaliyetine bağlanır. Bir e-posta ve kripto ile ödemek projeyi kimliğinden ayrı tutar. Bu kitle için asıl cazibe, fiyattan çok budur.
Ayrıca daha az sürtünmedir: tek seferlik bir tarama için bir kutu aç, çalışmasına izin ver, yık — her seferinde hesap-doğrulama dansı yok.
Hangi boyut — ve nasıl ödersin
Boyutlandırma tamamen nasıl kazıdığına bağlıdır:
- Düz HTTP (Scrapy,
requests+ BeautifulSoup). Hafif. 1–2 GB RAM çok sayıda eşzamanlı isteği idare eder çünkü hiçbir şey render etmiyorsun. - Başsız tarayıcı (Playwright, Puppeteer, Selenium). Aç. Her Chromium örneği 300–700 MB yer, yani 4 GB makul bir taban, birkaçını paralel çalıştırıyorsan daha fazla. Bir kazıma kutusunun gerçek RAM'e ihtiyaç duymasının olağan nedeni budur.
Ödeme konusunda: bir e-posta ile kaydol ve Base veya Ethereum üzerinde USDC ya da USDT ile öde — kart yok, belge yok. Kart da çalışır ama giriş rampasının ~27 $ minimumu vardır, yani ucuz bir plan için küçük bir bakiyeyi bir kez yükleyip oradan çekmek daha pürüzsüzdür.
Sunucu için NAT yeterlidir — bir kazıyıcı yalnızca dışa dönük çağrılar yapar. Bir özel IP'yi ancak gelen bir şey de barındırıyorsan seçersin (topladığın veriye hizmet eden bir API).
Çalıştırmak
SSH ile bağlan ve araç zincirini kur. Daha zor durum olduğu için başsız-tarayıcı örneği:
sudo apt update && sudo apt install -y python3-venv
mkdir ~/scraper && cd ~/scraper
python3 -m venv venv && source venv/bin/activate
pip install playwright && playwright install --with-deps chromium
# ya da hafif bir yığın: pip install scrapy beautifulsoup4 httpx
# scrape.py — başsız getirme
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
b = p.chromium.launch()
page = b.new_page()
page.goto("https://example.com")
print(page.title())
b.close()
Saatlerce çalışan bir tarama için, onu bir SSH oturumunda bırakma — bir systemd servisine sar (ya da hızlı bir çalıştırma için tmux) ki bağlantı kopmalarından ve yeniden açılmalardan sağ çıksın, herhangi bir süreci hayatta tutan aynı desen. Kazımayı bir yapay zekâ ajanı sürüyorsa, kutuyu MCP üzerinden kendisi bile kiralayabilir.
IP'ler hakkında dürüst kısım
Çoğu "kazıma için en iyi VPS" yazısının abarttığı yer burası. Bir VPS sana tek çıkış IP'li tek bir sunucu verir. Bu, kazıyıcıyı çalıştırmak için mükemmeldir — her zaman açık, temiz, ayrılmış bir makine. Bir vekil hizmeti değildir ve tek bir IP, adrese göre engelleyen ya da hız sınırlayan bir hedefin etrafından dolaştırmaz.
Ölçekli kazıyor ve engellere takılıyorsan, çözüm isteklerinin önünde ayrı bir vekil/döndürme sağlayıcısıdır — VPS kodunu çalıştırır, vekil katmanı IP'leri halleder. İki farklı iş. Tek bir kutunun büyük ölçekli IP engellemesini çözdüğünü söyleyen herkes sana bir şey satıyordur.
Ve sorumlu kazı: robots.txt'ye saygı göster, istek hızını kıs ve topladığın şeyin şartları içinde kal. Kibar bir kazıyıcı, açgözlü olandan çok daha az engellenir.
Uyarılar
- Yalnızca CPU, tek bölge (Almanya). Kazıma mantığı ve başsız tarayıcılar için gayet iyi; özellikle bir GPU'ya ya da belirli bir coğrafyaya ihtiyacın varsa bunu baştan bil.
- Tarayıcılarla RAM'e dikkat et. Sızan bir Playwright döngüsü kutuyu yer — sayfaları ve bağlamları kapat, eşzamanlılığı sınırla.
- Bu bir sunucu, sihirli bir anonimleştirici değil. KYC yok hesabı gizli tutar; isteklerinin hedeflere nasıl göründüğü sana (ve vekil katmanına) kalmıştır.
Bunun içinde, bir KYC yok VPS, sadece çalışmaya devam eden bir kazıyıcı için temiz, gizli bir evdir. Bir plan seç, kripto ile öde ve toplayıcını birkaç dakikada çevrim içine al.
Yorumlar
Henüz yorum yok. İlk olun.