跳到內容
royalproxy

網路爬蟲用代理

網頁爬取是向公開頁面發送大量請求,並儲存所需的資料。RoyalProxy 會把這些請求分散到輪換的住宅 IP 上,並以按天計費的方式提供不限流量。

爬蟲為什麼需要代理?

網站會限制單一 IP 位址可發送的請求數,所以從單一伺服器 IP 執行的爬蟲,過一陣子就會被降速或封鎖。透過代理連線位址傳送流量,每個請求都會使用不同的住宅 IP。

住宅 IP 屬於家用網路連線,目標網站看到的是分散在許多網路上的一般訪客。總請求量可以很大,同時每個 IP 的請求頻率維持很低。

爬蟲按天計費怎麼運作?

無限流量方案以固定的每日價格計費,不計流量。200 個連線、100 Mbps 的 1 天價格為 $4.85,7、30 或 90 天的方案每日費率分別降低 6%、15% 或 24%。

因為不計位元組,含圖片或大型 JSON 回應的大頁面和小頁面費用相同。方案大小依同時連線數(200~2,000)和頻寬(100~1,000 Mbps)決定。

我需要多少同時連線數?

所需連線數等於爬蟲同一時間保持開啟的請求數。有 150 個工作執行緒的爬蟲適合 200 個連線的級距,還留有重試的空間。

若同時執行多個爬蟲,請把它們的工作執行緒數加總。專案變大時,下一個方案請在控制台選擇更大的級距。

哪些資料可以爬取?

一般目標是任何人不用登入就能開啟的公開頁面,例如商品列表、文章和公開名錄。開始之前,請先閱讀各網站的條款和您所在地區的法律。

用於撞庫攻擊、垃圾訊息、DDoS 或存取政府網站的帳號,RoyalProxy 會予以停權。適度的請求頻率能讓目標網站正常服務其他訪客,您的爬蟲也比較不會被拒絕。

為網路爬蟲設定 RoyalProxy

  1. 1

    在付款視窗以加密貨幣儲值 RoyalProxy 餘額(最低 $40)。

  2. 2

    購買無限流量住宅方案,選擇天數、連線數和頻寬。

  3. 3

    代理使用者名稱加上 -zone-unl,資料會因地區不同時,再加上國家,例如 -cc-us。

  4. 4

    將爬蟲指向 gate.royalproxy.online 的 6100 埠(HTTP)或 6200 埠(SOCKS5),每個請求都會從新 IP 發出。

常見問題

每個請求都會換 IP 嗎?

是的。使用者名稱中沒有 -sid 值時,每個請求都會透過不同的住宅 IP 發出。

瀏覽多個頁面的工作階段可以保持同一個 IP 嗎?

加上 -sid- 和您自訂的任意工作階段 ID,若要指定長度,再加上 -ttl- 和最多 60 的分鐘數。使用相同 sid 的請求在這段時間內會保持同一個 IP。

無限流量方案有流量上限嗎?

流量完全不計量。方案大小只取決於您選擇的同時連線數和頻寬。

方案啟用中會怎樣?

訂單會顯示啟用中,直到網路端啟用為止。若無法啟用,訂單會被取消,全額退回您的餘額。

儲值 $40,取得 105 GB 住宅流量

註冊只需要使用者名稱和密碼。您的餘額和買下的流量都不會過期。