網頁抓取代理
網頁數據擷取是向公開頁面發出大量請求,並儲存所需的數據。RoyalProxy 把這些請求分散到輪換住宅 IP,無限流量按日計費。
爬蟲為甚麼需要代理?
網站會限制單一 IP 地址可發出的請求數量,所以從單一伺服器 IP 運行的爬蟲一段時間後會被減速或封鎖。經代理閘道傳送流量,每個請求都會使用不同的住宅 IP。
住宅 IP 屬於家用上網連線,目標網站看到的是分佈在多個網絡的一般訪客。你的總量可以很大,而每個 IP 的請求頻率仍然很低。
數據擷取按日計費如何運作?
無限流量計劃以固定每日價格收費,不設流量計量。200 個連線及 100 Mbps,1 日為 $4.85,7、30 或 90 日計劃的每日價格分別減 6%、15% 或 24%。
含圖片或大型 JSON 回應的大頁面與小頁面收費相同,因為不計算位元組。你按同時連線數(200 至 2,000)及頻寬(100 至 1,000 Mbps)決定計劃大小。
我需要多少個同時連線?
所需連線數等於你的爬蟲同一時間保持開啟的請求數量。有 150 個工作線程的爬蟲適合 200 個連線的級別,還有餘量供重試使用。
如果同時運行多個爬蟲,把它們的工作線程數加起來。項目擴大時,在控制台為下一個計劃選擇更高級別。
哪些數據可以擷取?
一般目標是任何人毋須登入即可開啟的公開頁面,例如產品列表、文章及公開名錄。開始前請閱讀各網站的條款及你營運所在地的法律。
RoyalProxy 會暫停用於撞庫攻擊、垃圾訊息、DDoS 或存取政府網站的帳戶。適度的請求頻率可讓目標網站為其他訪客正常運作,你的爬蟲也不會被拒諸門外。
為網頁數據爬取設定 RoyalProxy
1
在付款視窗以加密貨幣為 RoyalProxy 餘額增值(最低 $40)。
2
購買無限流量住宅計劃,選擇日數、連線數及頻寬。
3
代理用戶名稱加上 -zone-unl,如數據視乎地區,再加上國家,例如 -cc-us。
4
把爬蟲指向 gate.royalproxy.online 的端口 6100(HTTP)或 6200(SOCKS5),每個請求都會從新 IP 發出。
問題
每個請求都會更換 IP 嗎?
是。用戶名稱中沒有 -sid 值時,每個請求都會經不同的住宅 IP 發出。
多頁連線階段可以保持同一 IP 嗎?
加上 -sid- 及你自訂的任意連線階段 ID,如需設定長度,再加上 -ttl- 及最長 60 分鐘。sid 相同的請求會在該時間內保持同一 IP。
無限流量計劃有流量上限嗎?
流量完全不計量。計劃大小只取決於你所選的同時連線數及頻寬。
計劃啟用中期間會怎樣?
訂單會顯示啟用中,直至網絡端開通為止。如無法啟用,訂單會被取消,全數金額退回你的餘額。