AI 训练数据采集代理
用公开网页内容构建数据集,常常需要用多种语言采集数周。RoyalProxy 不限流量住宅套餐为这类工作提供固定的每日价格和 60 个国家的 IP。
什么样的代理适合数据集采集?
适合使用不计量流量的轮换住宅代理,因为数据集采集要从很多不同域名下载大量数据。按 GB 计费的话,最终成本会取决于您无法控制的页面大小。
在 RoyalProxy 不限流量套餐中,费用只取决于天数、连接数和带宽。在发出第一个请求之前,您就能定下三个月采集的预算。
如何采集不同语言的内容?
在用户名中加入国家代码,例如德国用 -cc-de,日本用 -cc-jp,请求就会从该国家发出。很多网站会根据访客 IP 提供当地语言版本。
为每个国家分配单独的工作线程池和用户名字符串。各语言的数据分得清楚,采集代码也不用改。
长时间采集要花多少钱?
90 天套餐、200 个连接、100 Mbps 每天 $3.69,比 1 天的价格低 24%。规模更大的采集,1,000 个连接、200 Mbps 的 30 天套餐每天 $8.97,共 $269.10。
在控制台中,套餐时长可以是 1~365 天中的任意天数。按采集计划设置时长,只为实际采集的天数付费。
如何规范地采集数据集?
只采集公开内容,遵守 robots.txt 和网站条款,并确认适用于训练用途的版权和数据保护规定。不需要的个人数据,在进入数据集之前就删除。
即使代理还能承载更多请求,也要限制每个域名的请求量。网站保持正常运行,下一版数据集才能继续在那里采集。
为AI 训练数据设置 RoyalProxy
1
充值足够整个采集周期使用的余额。单次充值最高 $5,000。
2
按采集所需天数购买不限流量套餐,1~365 天均可。
3
每种语言设置一个用户名,例如 rpexample1-zone-unl-cc-fr,让每个工作线程池从正确的国家发出请求。
4
让采集程序连接 gate.royalproxy.online:6100,并让打开的连接数保持在套餐连接数以内。
问题解答
一个套餐可以覆盖全部 60 个国家吗?
可以。一个不限流量套餐可在全部 60 个国家使用,每个请求的国家在用户名中指定。
采集时应该使用粘性会话吗?
对大多数采集任务来说,每个请求轮换 IP 就能很好地分散负载。只有在网站需要跨多个页面保持 Cookie 会话时才使用 -sid。
可以使用哪些付款方式?
充值通过安全的支付窗口用加密货币支付:TRON、BNB Smart Chain、Ethereum 或 Solana 上的 USDT,以及 USDC、BTC、ETH、BNB、SOL 和 LTC。
剩余余额会怎样处理?
未使用的余额会一直保留在账户中,没有有效期。下次开始采集时随时可以用来付款。