AI 학습 데이터 수집용 프록시
공개 웹 콘텐츠로 데이터셋을 만들려면 여러 언어로 몇 주씩 크롤링하는 경우가 많아요. RoyalProxy 무제한 주거용 요금제는 이 작업을 정해진 하루 요금과 60개국 IP로 돌려요.
데이터셋 크롤링에는 어떤 프록시가 맞나요?
트래픽을 세지 않는 회전형 주거용 프록시가 맞아요. 데이터셋 크롤링은 수많은 도메인에서 데이터를 많이 내려받기 때문이에요. GB 단위로 내면 최종 비용이 내가 조절할 수 없는 페이지 크기에 따라 달라져요.
RoyalProxy 무제한 요금제는 일수, 접속 수, 대역폭만으로 비용이 정해져요. 첫 요청을 보내기 전에 석 달 크롤링 예산을 미리 계산할 수 있어요.
여러 언어의 콘텐츠는 어떻게 모으나요?
사용자 이름에 국가 코드를 넣으면 그 나라에서 요청이 나가요. 독일은 -cc-de, 일본은 -cc-jp처럼 쓰면 돼요. 많은 사이트가 방문자 IP를 보고 현지 언어 버전을 보여 줘요.
나라마다 작업 묶음과 사용자 이름을 따로 두세요. 언어별 데이터가 섞이지 않고, 크롤러 코드는 그대로 써도 돼요.
오래 크롤링하면 비용은 얼마나 드나요?
동시 접속 200개, 100 Mbps로 90일 요금제를 쓰면 하루 $3.69로, 1일 요금보다 24% 낮아요. 규모가 큰 크롤링이라면 동시 접속 1,000개에 200 Mbps, 30일 요금제가 하루 $8.97, 합계 $269.10이에요.
대시보드에서는 1~365일 중 원하는 기간으로 살 수 있어요. 크롤링 일정에 기간을 맞추면 실제로 수집하는 날만큼만 내면 돼요.
데이터셋 수집을 책임감 있게 하려면 어떻게 하나요?
공개된 콘텐츠만 모으고, robots.txt와 사이트 약관을 따르고, 학습 용도에 적용되는 저작권과 개인정보 보호 규정을 확인하세요. 필요 없는 개인정보는 데이터셋에 들어가기 전에 지우세요.
프록시가 더 많이 처리할 수 있어도 도메인별 요청 수에 상한을 두세요. 사이트가 멀쩡해야 다음 버전 데이터셋을 만들 때 다시 수집할 수 있어요.
AI 학습 데이터 작업에 RoyalProxy 설정하기
1
크롤링 전체 기간에 필요한 만큼 잔액을 충전해요. 한 번에 최대 $5,000까지 충전할 수 있어요.
2
크롤링에 필요한 일수만큼 무제한 요금제를 사요. 1~365일 중 고를 수 있어요.
3
rpexample1-zone-unl-cc-fr처럼 언어마다 사용자 이름을 하나씩 만들어, 작업 묶음별로 맞는 나라에서 나가게 해요.
4
크롤러를 gate.royalproxy.online:6100에 연결하고, 열린 접속 수가 요금제의 동시 접속 수를 넘지 않게 관리해요.
질문
요금제 하나로 60개국을 모두 쓸 수 있나요?
네. 무제한 요금제 하나로 60개국 모두 쓸 수 있고, 나라는 요청마다 사용자 이름에서 정해요.
크롤링에 고정 세션을 써야 하나요?
대부분의 크롤링은 요청마다 IP를 바꾸는 편이 부하를 고르게 나눠요. 여러 페이지에 걸쳐 쿠키 세션이 필요한 사이트에만 -sid 옵션을 쓰세요.
어떤 결제 수단을 쓸 수 있나요?
충전은 안전한 결제 창에서 암호화폐로 해요. TRON, BNB Smart Chain, Ethereum, Solana 네트워크의 USDT, USDC, BTC, ETH, BNB, SOL, LTC를 받아요.
남은 잔액은 어떻게 되나요?
쓰지 않은 잔액은 기한 없이 계정에 남아요. 다음 크롤링을 시작할 때 그대로 쓰면 돼요.