Proxies para recopilar datos de entrenamiento de IA
Crear un dataset a partir de contenido web público suele llevar semanas de rastreo en muchos idiomas. El plan residencial ilimitado de RoyalProxy le da a ese trabajo un precio diario fijo e IP en 60 países.
¿Qué tipo de proxy conviene para rastrear datasets?
Conviene un proxy residencial rotativo con tráfico sin medir, porque los rastreos de datasets descargan muchos bytes de muchos dominios distintos. Una factura por GB ataría tu costo final a tamaños de página que no controlas.
En el plan ilimitado de RoyalProxy, el costo depende solo de los días, las conexiones y el ancho de banda. Puedes fijar el presupuesto de un rastreo de tres meses antes de enviar la primera solicitud.
¿Cómo recopilo contenido en distintos idiomas?
Pon un código de país en el usuario, por ejemplo -cc-de para Alemania o -cc-jp para Japón, y la solicitud sale desde ese país. Muchos sitios muestran su versión en el idioma local según la IP del visitante.
Da a cada país su propio grupo de workers y su propio usuario. Tus grupos por idioma se mantienen separados y el código del crawler no cambia.
¿Cuánto cuesta un rastreo largo?
Un plan de 90 días con 200 conexiones y 100 Mbps cuesta $3.69 al día, un 24% menos que la tarifa de un día. Para un rastreo mayor, 1,000 conexiones con 200 Mbps cuestan $8.97 al día en un plan de 30 días, es decir, $269.10 en total.
En el panel un plan puede durar cualquier periodo de 1~365 días. Ajusta el periodo a tu calendario de rastreo para pagar solo los días en que realmente rastreas.
¿Cómo recopilo datos para datasets de forma responsable?
Recopila contenido disponible públicamente, respeta robots.txt y los términos de cada sitio, y revisa las normas de derechos de autor y protección de datos que se aplican al uso para entrenamiento. Elimina los datos personales que no necesites antes de que entren en el dataset.
Limita las solicitudes por dominio aunque el proxy pueda con más. Los sitios que siguen funcionando bien son sitios que podrás volver a rastrear para la próxima versión del dataset.
Configura RoyalProxy para Datos para entrenar IA
1
Recarga saldo suficiente para todo el periodo de rastreo. Una sola recarga puede ser de hasta $5,000.
2
Compra un plan ilimitado por los días que necesita tu rastreo, entre 1~365.
3
Crea un usuario por idioma, como rpexample1-zone-unl-cc-fr, para que cada grupo de workers salga desde el país correcto.
4
Inicia el crawler contra gate.royalproxy.online:6100 y mantén las conexiones abiertas por debajo del número de conexiones de tu plan.
Preguntas
¿Un plan puede cubrir los 60 países?
Sí. Un solo plan ilimitado funciona en los 60 países, y eliges el país por solicitud en el usuario.
¿Debo usar sesiones fijas para rastrear?
Las IP rotativas por solicitud reparten bien la carga en la mayoría de rastreos. Usa -sid solo en sitios que necesitan una sesión con cookies a lo largo de varias páginas.
¿Qué métodos de pago puedo usar?
Las recargas se pagan con criptomonedas a través de una ventana de pago segura: USDT en TRON, BNB Smart Chain, Ethereum o Solana, USDC, BTC, ETH, BNB, SOL y LTC.
¿Qué pasa con el saldo sobrante?
El saldo sin usar queda en tu cuenta sin caducidad. Puede pagar el próximo rastreo cuando lo empieces.
Recarga $40 y obtén 105 GB de tráfico residencial
Para registrarte solo necesitas un usuario y una contraseña. Tu saldo y el tráfico que compras nunca caducan.