Proxies para web scraping
El web scraping consiste en enviar muchas solicitudes a páginas públicas y guardar los datos que necesitas. RoyalProxy reparte esas solicitudes entre IP residenciales rotativas y cobra el tráfico ilimitado por día.
¿Por qué los scrapers necesitan proxies?
Los sitios limitan cuántas solicitudes puede enviar una dirección IP, así que un scraper que funciona desde una sola IP de servidor acaba ralentizado o bloqueado. Pasar el tráfico por un gateway de proxy da a cada solicitud una IP residencial distinta.
Las IP residenciales pertenecen a conexiones de internet domésticas, así que el sitio de destino ve visitantes normales repartidos entre muchas redes. Tu volumen total puede ser alto mientras la frecuencia de solicitudes por IP sigue siendo baja.
¿Cómo funciona el cobro por día para scraping?
El plan ilimitado cobra un precio fijo por día, sin medidor de tráfico. Con 200 conexiones y 100 Mbps cuesta $4.85 por un día, y la tarifa diaria baja un 6%, 15% o 24% en planes de 7, 30 o 90 días.
Las páginas pesadas con imágenes o respuestas JSON grandes cuestan lo mismo que las pequeñas, porque no se cuentan los bytes. El plan se dimensiona por conexiones simultáneas (de 200 a 2,000) y ancho de banda (de 100 a 1,000 Mbps).
¿Cuántas conexiones simultáneas necesito?
Las conexiones que necesitas equivalen al número de solicitudes que tu scraper mantiene abiertas al mismo tiempo. Un crawler con 150 hilos de trabajo encaja en el nivel de 200 conexiones con margen para reintentos.
Si ejecutas varios scrapers a la vez, suma sus hilos de trabajo. Cuando el proyecto crezca, elige un nivel mayor para tu próximo plan en el panel.
¿Qué datos se pueden recopilar?
Los destinos habituales son páginas públicas que cualquiera puede abrir sin iniciar sesión, como listados de productos, artículos y directorios públicos. Lee los términos de cada sitio y las leyes del lugar donde operas antes de empezar.
RoyalProxy suspende las cuentas usadas para credential stuffing, spam, DDoS o acceso a sitios gubernamentales. Una frecuencia de solicitudes moderada mantiene el sitio de destino funcionando para sus demás visitantes y evita que tu scraper sea rechazado.
Configura RoyalProxy para Web scraping
1
Recarga tu saldo de RoyalProxy con criptomonedas en la ventana de pago (mínimo $40).
2
Compra un plan residencial ilimitado y elige los días, las conexiones y el ancho de banda.
3
Usa tu usuario del proxy con -zone-unl, y añade un país como -cc-us cuando los datos dependan de la región.
4
Apunta tu scraper a gate.royalproxy.online en el puerto 6100 (HTTP) o 6200 (SOCKS5), y cada solicitud sale desde una IP nueva.
Preguntas
¿La IP cambia en cada solicitud?
Sí. Sin un valor -sid en el usuario, cada solicitud sale por una IP residencial distinta.
¿Puedo mantener una IP durante una sesión de varias páginas?
Añade -sid- seguido de cualquier ID de sesión que elijas, y -ttl- con hasta 60 minutos si quieres una duración fija. Las solicitudes con el mismo sid mantienen la misma IP durante ese tiempo.
¿El plan ilimitado tiene límite de tráfico?
El tráfico no se mide en absoluto. El plan se dimensiona solo por las conexiones simultáneas y el ancho de banda que elegiste.
¿Qué pasa mientras mi plan se está activando?
El pedido aparece como activando hasta que la red lo pone en marcha. Si no se puede activar, se cancela y el importe completo vuelve a tu saldo.
Recarga $40 y obtén 105 GB de tráfico residencial
Para registrarte solo necesitas un usuario y una contraseña. Tu saldo y el tráfico que compras nunca caducan.