Proxy para sa web scraping
Ang web scraping ay pagpapadala ng maraming request sa pampublikong page at pag-save ng data na kailangan mo. Hinahati ng RoyalProxy ang mga request na iyon sa umiikot na residential IP at sinisingil ang unlimited na traffic kada araw.
Bakit kailangan ng scraper ang proxy?
Nililimitahan ng mga site kung ilang request ang puwedeng ipadala ng isang IP address, kaya bumabagal o naha-block pagkalipas ng ilang sandali ang scraper na tumatakbo sa iisang server IP. Kapag idinaan ang traffic sa proxy gateway, ibang residential IP ang bawat request.
Pag-aari ng home internet connection ang residential IP, kaya karaniwang bisita mula sa maraming network ang nakikita ng target na site. Puwedeng mataas ang kabuuang volume mo habang mababa ang bilis ng request kada IP.
Paano gumagana ang bayad kada araw para sa scraping?
Fixed na presyo kada araw ang singil ng unlimited plan at walang traffic meter. Sa 200 koneksyon at 100 Mbps, $4.85 ito para sa isang araw, at bumababa ang daily rate nang 6%, 15% o 24% sa plan na 7, 30 o 90 araw.
Pareho ang gastos ng mabibigat na page na may larawan o malalaking JSON response at ng maliliit, dahil hindi binibilang ang bytes. Itinatakda mo ang laki ng plan ayon sa sabay-sabay na koneksyon (200 hanggang 2,000) at bandwidth (100 hanggang 1,000 Mbps).
Ilang sabay-sabay na koneksyon ang kailangan ko?
Ang kailangan mong koneksyon ay katumbas ng bilang ng request na sabay na bukas sa scraper mo. Ang crawler na may 150 worker thread ay kasya sa 200 connection tier at may puwang pa para sa retry.
Kung ilang scraper ang sabay mong pinapatakbo, pagsamahin ang bilang ng worker nila. Kapag lumaki ang project, pumili ng mas malaking tier para sa susunod mong plan sa dashboard.
Aling data ang puwedeng i-scrape?
Ang karaniwang target ay pampublikong page na nabubuksan ng kahit sino nang hindi nagla-log in, gaya ng product listing, artikulo at pampublikong directory. Basahin ang terms ng bawat site at ang mga batas kung saan ka nag-o-operate bago magsimula.
Sinususpinde ng RoyalProxy ang account na ginagamit sa credential stuffing, spam, DDoS o pag-access sa site ng gobyerno. Sa katamtamang bilis ng request, gumagana pa rin ang target na site para sa ibang bisita nito, at hindi naha-block ang scraper mo.
I-set up ang RoyalProxy para sa Web scraping
1
Mag-top up ng RoyalProxy balance gamit ang crypto sa payment window (minimum $40).
2
Bumili ng unlimited residential plan at piliin ang mga araw, koneksyon at bandwidth.
3
Gamitin ang proxy username mo na may -zone-unl, at magdagdag ng bansa gaya ng -cc-us kapag nakadepende sa rehiyon ang data.
4
Ituro ang scraper mo sa gate.royalproxy.online sa port 6100 (HTTP) o 6200 (SOCKS5), at lalabas sa bagong IP ang bawat request.
Mga tanong
Nagbabago ba ang IP sa bawat request?
Oo. Kapag walang -sid value sa username, lumalabas ang bawat request gamit ang ibang residential IP.
Puwede ko bang hawakan ang isang IP para sa session na maraming page?
Idagdag ang -sid- na sinusundan ng kahit anong session ID na gusto mo, at -ttl- na hanggang 60 minuto kung gusto mo ng tiyak na haba. Parehong IP ang hawak ng mga request na may parehong sid sa panahong iyon.
May traffic cap ba ang unlimited plan?
Hindi talaga sinusukat ang traffic. Ang laki ng plan ay nakadepende lang sa sabay-sabay na koneksyon at bandwidth na pinili mo.
Ano ang nangyayari habang activating ang plan ko?
Activating ang nakalagay sa order hanggang i-on ito ng network. Kapag hindi ito ma-activate, kakanselahin ito at babalik sa balance mo ang buong halaga.
Mag-top up ng $40 at makakuha ng 105 GB na residential traffic
Username at password lang ang kailangan para mag-sign up. Hindi nag-e-expire ang balance mo at ang traffic na binili mo.