พร็อกซี่สำหรับเว็บสแครปปิ้ง
เว็บสแครปปิ้งคือการส่งคำขอจำนวนมากไปยังหน้าเว็บสาธารณะแล้วบันทึกข้อมูลที่ต้องการ RoyalProxy กระจายคำขอเหล่านั้นไปยัง IP เรสซิเดนเชียลแบบหมุนเวียน และคิดเงินทราฟฟิกไม่จำกัดเป็นรายวัน
ทำไมสแครปเปอร์ต้องใช้พร็อกซี่
เว็บไซต์จำกัดจำนวนคำขอที่ส่งจากที่อยู่ IP เดียว สแครปเปอร์ที่รันจาก IP เซิร์ฟเวอร์ตัวเดียวจึงถูกทำให้ช้าลงหรือถูกบล็อกหลังผ่านไปสักพัก การส่งทราฟฟิกผ่านเกตเวย์พร็อกซี่ทำให้แต่ละคำขอได้ IP เรสซิเดนเชียลคนละตัว
IP เรสซิเดนเชียลเป็นของการเชื่อมต่ออินเทอร์เน็ตบ้าน เว็บไซต์เป้าหมายจึงเห็นผู้เข้าชมทั่วไปที่กระจายอยู่ในหลายเครือข่าย ปริมาณรวมของคุณสูงได้ ขณะที่อัตราคำขอต่อ IP ยังต่ำ
การคิดเงินรายวันสำหรับสแครปปิ้งทำงานอย่างไร
แพ็กเกจแบบไม่จำกัดคิดราคาคงที่ต่อวันโดยไม่นับทราฟฟิก ที่ 200 การเชื่อมต่อและ 100 Mbps ราคา $4.85 สำหรับหนึ่งวัน และราคาต่อวันลด 6%, 15% หรือ 24% สำหรับแพ็กเกจ 7, 30 หรือ 90 วัน
หน้าเว็บขนาดใหญ่ที่มีรูปภาพหรือ JSON ขนาดใหญ่มีค่าใช้จ่ายเท่ากับหน้าเล็ก เพราะไม่นับจำนวนไบต์ คุณกำหนดขนาดแพ็กเกจด้วยจำนวนการเชื่อมต่อพร้อมกัน (200 ถึง 2,000) และแบนด์วิดท์ (100 ถึง 1,000 Mbps)
ต้องใช้การเชื่อมต่อพร้อมกันกี่การเชื่อมต่อ
จำนวนการเชื่อมต่อที่ต้องใช้เท่ากับจำนวนคำขอที่สแครปเปอร์เปิดค้างไว้ในเวลาเดียวกัน ครอว์เลอร์ที่มี worker 150 เธรดเหมาะกับระดับ 200 การเชื่อมต่อ และยังเหลือที่สำหรับการลองใหม่
ถ้าคุณรันสแครปเปอร์หลายตัวพร้อมกัน ให้รวมจำนวน worker ของทุกตัว เมื่อโปรเจกต์ใหญ่ขึ้น ให้เลือกระดับที่ใหญ่ขึ้นสำหรับแพ็กเกจถัดไปในแดชบอร์ด
ข้อมูลแบบไหนสแครปได้
เป้าหมายทั่วไปคือหน้าสาธารณะที่ใครก็เปิดได้โดยไม่ต้องเข้าสู่ระบบ เช่น รายการสินค้า บทความ และไดเรกทอรีสาธารณะ อ่านข้อกำหนดของแต่ละเว็บไซต์และกฎหมายในพื้นที่ที่คุณดำเนินงานก่อนเริ่ม
RoyalProxy ระงับบัญชีที่ใช้ทำ credential stuffing ส่งสแปม DDoS หรือเข้าเว็บไซต์ของหน่วยงานรัฐ อัตราคำขอที่พอเหมาะทำให้เว็บไซต์เป้าหมายยังใช้งานได้สำหรับผู้เข้าชมคนอื่น และทำให้สแครปเปอร์ของคุณยังเข้าใช้ได้
ตั้งค่า RoyalProxy สำหรับเว็บสแครปปิ้ง
1
เติมเงินเข้ายอดเงิน RoyalProxy ด้วยคริปโตในหน้าต่างชำระเงิน (ขั้นต่ำ $40)
2
ซื้อแพ็กเกจเรสซิเดนเชียลแบบไม่จำกัด แล้วเลือกจำนวนวัน การเชื่อมต่อ และแบนด์วิดท์
3
ใช้ชื่อผู้ใช้พร็อกซี่พร้อม -zone-unl และเพิ่มประเทศ เช่น -cc-us เมื่อข้อมูลขึ้นอยู่กับภูมิภาค
4
ตั้งสแครปเปอร์ให้ชี้ไปที่ gate.royalproxy.online พอร์ต 6100 (HTTP) หรือ 6200 (SOCKS5) แล้วทุกคำขอจะออกจาก IP ใหม่
คำถาม
IP เปลี่ยนทุกคำขอไหม
ใช่ ถ้าไม่มีค่า -sid ในชื่อผู้ใช้ ทุกคำขอจะออกผ่าน IP เรสซิเดนเชียลคนละตัว
คง IP เดียวไว้สำหรับเซสชันหลายหน้าได้ไหม
เพิ่ม -sid- ตามด้วย session ID ที่คุณตั้งเอง และ -ttl- สูงสุด 60 นาทีถ้าต้องการกำหนดระยะเวลา คำขอที่มี sid เดียวกันจะใช้ IP เดิมตลอดช่วงเวลานั้น
แพ็กเกจแบบไม่จำกัดมีเพดานทราฟฟิกไหม
ไม่นับทราฟฟิกเลย ขนาดของแพ็กเกจกำหนดด้วยจำนวนการเชื่อมต่อพร้อมกันและแบนด์วิดท์ที่คุณเลือกเท่านั้น
ระหว่างที่แพ็กเกจกำลังเปิดใช้งานจะเกิดอะไรขึ้น
คำสั่งซื้อจะแสดงสถานะกำลังเปิดใช้งานจนกว่าฝั่งเครือข่ายจะเปิดให้ใช้ ถ้าเปิดใช้งานไม่ได้ คำสั่งซื้อจะถูกยกเลิกและยอดเต็มจำนวนจะคืนเข้ายอดเงินของคุณ
เติมเงิน $40 ได้ทราฟฟิกเรสซิเดนเชียล 105 GB
สมัครสมาชิกใช้แค่ชื่อผู้ใช้และรหัสผ่าน ยอดเงินและทราฟฟิกที่ซื้อไม่มีวันหมดอายุ