웹 스크래핑용 프록시

웹 스크래핑은 공개 페이지에 요청을 많이 보내 필요한 데이터를 저장하는 작업이에요. RoyalProxy는 이 요청을 계속 바뀌는 주거용 IP로 나눠 보내고, 트래픽 무제한 요금을 하루 단위로 받아요.

스크래핑에 프록시가 왜 필요한가요?

사이트는 IP 하나가 보낼 수 있는 요청 수를 제한해요. 그래서 서버 IP 하나로 돌리는 스크래퍼는 얼마 지나지 않아 느려지거나 막혀요. 프록시 게이트웨이를 거치면 요청마다 다른 주거용 IP가 붙어요.

주거용 IP는 가정용 인터넷 회선의 IP예요. 대상 사이트에는 여러 통신망에 흩어진 평범한 방문자로 보여요. 전체 요청량이 많아도 IP 하나당 요청 수는 적게 유지돼요.

무제한 요금제는 트래픽을 세지 않고 하루 정해진 금액을 받아요. 동시 접속 200개, 100 Mbps 기준 1일 $4.85이고, 7일, 30일, 90일 요금제는 하루 단가가 6%, 15%, 24% 내려가요.

바이트를 세지 않으니 이미지가 많은 페이지나 큰 JSON 응답도 작은 페이지와 요금이 같아요. 요금제 크기는 동시 접속 수(200~2,000개)와 대역폭(100~1,000 Mbps)으로 정해요.

스크래퍼가 같은 순간에 열어 두는 요청 수가 곧 필요한 연결 수예요. 작업 스레드가 150개인 크롤러라면 200개 구간으로 충분하고, 재시도할 여유도 남아요.

스크래퍼 여러 개를 함께 돌린다면 각 스레드 수를 더해서 계산하세요. 작업이 커지면 다음 요금제를 살 때 대시보드에서 더 큰 구간을 고르면 돼요.

로그인 없이 누구나 볼 수 있는 공개 페이지가 일반적인 대상이에요. 상품 목록, 기사, 공개 디렉터리 같은 페이지가 여기에 들어가요. 시작하기 전에 각 사이트의 이용약관과 사업 지역의 법을 확인하세요.

RoyalProxy는 크리덴셜 스터핑(유출된 계정 정보 대입), 스팸, DDoS, 정부 사이트 접근에 쓰인 계정을 정지해요. 요청 속도를 적당히 유지하면 대상 사이트에 부담을 주지 않고, 같은 사이트를 오래 수집할 수 있어요.

1
결제 창에서 암호화폐로 RoyalProxy 잔액을 충전해요(최소 $50).
2
무제한 주거용 요금제를 사고 일수, 동시 접속 수, 대역폭을 골라요.
3
프록시 사용자 이름 뒤에 -zone-unl 옵션을 붙이고, 지역에 따라 달라지는 데이터라면 -cc-us 같은 국가 옵션도 더해요.
4
스크래퍼를 gate.royalproxy.online의 6100 포트(HTTP)나 6200 포트(SOCKS5)에 연결하면 요청마다 새 IP로 나가요.

요청할 때마다 IP가 바뀌나요?

네. 사용자 이름에 -sid 값을 넣지 않으면 요청마다 다른 주거용 IP로 나가요.

여러 페이지를 도는 동안 IP 하나를 유지할 수 있나요?

-sid- 뒤에 원하는 세션 ID를 붙이고, 시간을 정하고 싶다면 -ttl- 옵션으로 최대 60분까지 지정하세요. 같은 sid를 쓰는 요청은 그 시간 동안 같은 IP를 써요.

무제한 요금제에 트래픽 상한이 있나요?

트래픽은 전혀 세지 않아요. 요금제는 고른 동시 접속 수와 대역폭으로만 정해져요.

요금제가 개통 진행 중일 때는 어떻게 되나요?

네트워크 쪽에서 켜질 때까지 주문이 개통 진행으로 표시돼요. 개통할 수 없는 주문은 취소되고 전액이 잔액으로 돌아와요.

가입은 아이디와 비밀번호만 있으면 돼요. 충전한 잔액과 산 트래픽 모두 기한이 없어요.