Web scraping için proxy
Web scraping, herkese açık sayfalara çok sayıda istek gönderip ihtiyacınız olan verileri kaydetmektir. RoyalProxy bu istekleri rotasyonlu residential IP'lere dağıtır ve sınırsız trafiği günlük olarak ücretlendirir.
Scraper'lar neden proxy'ye ihtiyaç duyar?
Siteler bir IP adresinin gönderebileceği istek sayısını sınırlar, bu yüzden tek bir sunucu IP'sinden çalışan bir scraper bir süre sonra yavaşlatılır veya engellenir. Trafiği bir proxy gateway'i üzerinden yönlendirmek her isteğe farklı bir residential IP verir.
Residential IP'ler ev internet bağlantılarına aittir, bu yüzden hedef site birçok ağa dağılmış sıradan ziyaretçiler görür. Toplam hacminiz yüksek olabilirken IP başına istek hızı düşük kalır.
Scraping için günlük ücretlendirme nasıl işler?
Sınırsız paket, trafik sayacı olmadan sabit bir günlük fiyat alır. 200 bağlantı ve 100 Mbps'de bir gün için $4.85'tir; 7, 30 veya 90 günlük paketlerde günlük fiyat %6, %15 veya %24 düşer.
Resimli ağır sayfalar veya büyük JSON yanıtları küçük olanlarla aynı tutar, çünkü bayt sayılmaz. Paketi eşzamanlı bağlantıya (200 ile 2,000 arası) ve bant genişliğine (100 ile 1,000 Mbps arası) göre boyutlandırırsınız.
Kaç eşzamanlı bağlantıya ihtiyacım var?
Bağlantı ihtiyacınız, scraper'ınızın aynı anda açık tuttuğu istek sayısına eşittir. 150 worker thread'li bir crawler, yeniden denemeler için yer bırakarak 200 bağlantı kademesine sığar.
Birkaç scraper'ı yan yana çalıştırıyorsanız worker sayılarını toplayın. Proje büyüdüğünde bir sonraki paketiniz için panelden daha büyük bir kademe seçin.
Hangi verileri toplamak uygundur?
Ürün listeleri, makaleler ve herkese açık dizinler gibi giriş yapmadan herkesin açabildiği sayfalar olağan hedeflerdir. Başlamadan önce her sitenin koşullarını ve faaliyet gösterdiğiniz yerdeki yasaları okuyun.
RoyalProxy; credential stuffing, spam, DDoS veya devlet sitelerine erişim için kullanılan hesapları askıya alır. Makul istek hızları hedef sitenin diğer ziyaretçileri için çalışmasını sağlar ve scraper'ınızın orada kabul görmesini korur.
Web scraping için RoyalProxy kurulumu
1
RoyalProxy bakiyenizi ödeme penceresinden kripto ile yükleyin (en az $40).
2
Bir sınırsız residential paket satın alın ve gün, bağlantı ve bant genişliğini seçin.
3
Proxy kullanıcı adınızı -zone-unl ile kullanın, veriler bölgeye bağlıysa -cc-us gibi bir ülke ekleyin.
4
Scraper'ınızı gate.royalproxy.online adresine port 6100 (HTTP) veya 6200 (SOCKS5) ile yönlendirin, her istek yeni bir IP'den çıkar.
Sorular
IP her istekte değişir mi?
Evet. Kullanıcı adında -sid değeri yoksa her istek farklı bir residential IP üzerinden çıkar.
Çok sayfalı bir oturum için tek bir IP'yi koruyabilir miyim?
-sid- ve ardından seçtiğiniz herhangi bir oturum kimliğini ekleyin, belirli bir süre istiyorsanız 60 dakikaya kadar -ttl- de ekleyin. Aynı sid değerine sahip istekler bu süre boyunca aynı IP'yi korur.
Sınırsız pakette trafik sınırı var mı?
Trafik hiç ölçülmez. Paket yalnızca seçtiğiniz eşzamanlı bağlantı ve bant genişliğine göre boyutlanır.
Paketim etkinleştirilirken ne olur?
Sipariş, ağ tarafı açana kadar etkinleştiriliyor olarak görünür. Etkinleştirilemezse iptal edilir ve tutarın tamamı bakiyenize geri döner.
Diğer kullanım alanları
$40 yükleyin, 105 GB residential trafik alın
Kayıt için yalnızca bir kullanıcı adı ve şifre yeterli. Bakiyenizin ve satın aldığınız trafiğin süresi dolmaz.