AI 訓練資料收集用代理
從公開網頁內容建立資料集,常常需要用多種語言爬取好幾週。RoyalProxy 無限流量住宅方案為這類工作提供固定的每日價格和 60 個國家的 IP。
哪種代理適合資料集爬取?
適合使用不計流量的輪換住宅代理,因為資料集爬取會從許多不同網域下載大量資料。按 GB 計費的話,最終成本會取決於您無法控制的頁面大小。
在 RoyalProxy 無限流量方案中,費用只取決於天數、連線數和頻寬。在送出第一個請求之前,就能先算好三個月爬取的預算。
如何蒐集不同語言的內容?
在使用者名稱中加上國家代碼,例如德國用 -cc-de、日本用 -cc-jp,請求就會從該國發出。許多網站會依訪客的 IP 提供當地語言版本。
每個國家各自使用一組工作程序和一組使用者名稱字串。這樣各語言的資料分類清楚,爬蟲程式碼也不用改。
長時間爬取要花多少錢?
90 天方案、200 個連線、100 Mbps,每天 $3.69,比 1 天費率低 24%。規模更大的爬取,1,000 個連線搭配 200 Mbps 的 30 天方案為每天 $8.97,總計 $269.10。
在控制台,方案可以設定 1~365 天的任意長度。依爬取排程設定期間,只需為實際爬取的天數付費。
如何負責任地蒐集資料集?
請蒐集公開可取得的內容,遵守 robots.txt 和網站條款,並確認適用於訓練用途的著作權和個人資料保護規定。不需要的個人資料請在進入資料集之前刪除。
即使代理還能承受更多,也請限制每個網域的請求數。網站維持正常,下一版資料集才能再次爬取。
為AI 訓練資料設定 RoyalProxy
1
儲值足夠整個爬取期間使用的餘額。單次儲值最高 $5,000。
2
依爬取所需天數購買無限流量方案,1~365 天皆可。
3
每種語言設定一個使用者名稱,例如 rpexample1-zone-unl-cc-fr,讓每組工作程序都從正確的國家發出。
4
將爬蟲連到 gate.royalproxy.online:6100 開始執行,並讓開啟的連線數保持在方案的連線數以下。
常見問題
一個方案可以涵蓋全部 60 個國家嗎?
可以。一個無限流量方案在全部 60 個國家都能使用,每個請求的國家在使用者名稱中指定。
爬取時應該使用固定 IP 工作階段嗎?
大部分爬取用每個請求輪換 IP 就能有效分散負載。只有在網站需要跨多個頁面維持 Cookie 工作階段時,才使用 -sid。
可以使用哪些付款方式?
儲值透過安全的付款視窗以加密貨幣支付:TRON、BNB Smart Chain、Ethereum 或 Solana 上的 USDT,以及 USDC、BTC、ETH、BNB、SOL 和 LTC。
剩下的餘額會怎樣?
未使用的餘額會留在帳號中,沒有使用期限。下次開始爬取時隨時都能用來付款。