Proxy untuk web scraping
Web scraping berarti mengirim banyak permintaan ke halaman publik dan menyimpan data yang Anda butuhkan. RoyalProxy menyebar permintaan itu ke IP residensial berputar dan menagih trafik unlimited per hari.
Mengapa scraper butuh proxy?
Situs membatasi berapa banyak permintaan yang bisa dikirim satu alamat IP, jadi scraper yang berjalan dari satu IP server akan diperlambat atau diblokir setelah beberapa saat. Mengalirkan trafik lewat gateway proxy memberi setiap permintaan IP residensial yang berbeda.
IP residensial milik koneksi internet rumah, jadi situs tujuan melihat pengunjung biasa yang tersebar di banyak jaringan. Total volume Anda bisa tinggi, sementara laju permintaan per IP tetap rendah.
Bagaimana tagihan per hari bekerja untuk scraping?
Paket unlimited mengenakan harga tetap per hari tanpa penghitung trafik. Dengan 200 koneksi dan 100 Mbps, harganya $4.85 untuk satu hari, dan tarif harian turun 6%, 15%, atau 24% untuk paket 7, 30, atau 90 hari.
Halaman berat dengan gambar atau respons JSON besar biayanya sama dengan halaman kecil, karena byte tidak dihitung. Anda menentukan ukuran paket dari koneksi bersamaan (200 sampai 2,000) dan bandwidth (100 sampai 1,000 Mbps).
Berapa koneksi bersamaan yang saya butuhkan?
Kebutuhan koneksi Anda sama dengan jumlah permintaan yang dibuka scraper pada saat yang sama. Crawler dengan 150 thread worker cocok dengan tingkat 200 koneksi dan masih ada ruang untuk percobaan ulang.
Jika Anda menjalankan beberapa scraper berdampingan, jumlahkan worker-nya. Saat proyek berkembang, pilih tingkat lebih besar untuk paket berikutnya di dashboard.
Data apa yang boleh di-scrape?
Halaman publik yang bisa dibuka siapa saja tanpa login, seperti daftar produk, artikel, dan direktori publik, adalah target yang umum. Baca ketentuan setiap situs dan hukum di tempat Anda beroperasi sebelum mulai.
RoyalProxy menangguhkan akun yang dipakai untuk credential stuffing, spam, DDoS, atau akses ke situs pemerintah. Laju permintaan yang wajar membuat situs tujuan tetap berjalan untuk pengunjung lain, dan scraper Anda tetap diterima di sana.
Atur RoyalProxy untuk Web scraping
1
Isi saldo RoyalProxy Anda dengan kripto di jendela pembayaran (minimal $40).
2
Beli paket residensial unlimited dan pilih jumlah hari, koneksi, dan bandwidth.
3
Pakai username proxy dengan -zone-unl, dan tambahkan negara seperti -cc-us jika data bergantung pada wilayah.
4
Arahkan scraper ke gate.royalproxy.online di port 6100 (HTTP) atau 6200 (SOCKS5), dan setiap permintaan keluar dari IP baru.
Pertanyaan
Apakah IP berganti di setiap permintaan?
Ya. Tanpa nilai -sid di username, setiap permintaan keluar lewat IP residensial yang berbeda.
Bisakah saya menahan satu IP untuk sesi beberapa halaman?
Tambahkan -sid- diikuti session ID pilihan Anda, ditambah -ttl- hingga 60 menit jika ingin durasi tertentu. Permintaan dengan sid yang sama memakai IP yang sama selama waktu itu.
Apakah ada batas trafik di paket unlimited?
Trafik sama sekali tidak dihitung. Ukuran paket hanya ditentukan oleh koneksi bersamaan dan bandwidth yang Anda pilih.
Apa yang terjadi saat paket saya Sedang diaktifkan?
Pesanan berstatus Sedang diaktifkan sampai sisi jaringan menyalakannya. Jika tidak bisa diaktifkan, pesanan dibatalkan dan seluruh jumlahnya kembali ke saldo Anda.
Isi saldo $40 dan dapatkan 105 GB trafik residensial
Untuk mendaftar, Anda hanya butuh username dan kata sandi. Saldo dan trafik yang Anda beli tidak pernah hangus.