Прокси для парсинга сайтов
Парсинг это отправка множества запросов к публичным страницам и сохранение нужных данных. RoyalProxy распределяет эти запросы по ротационным резидентным IP и берет плату за безлимитный трафик по дням.
Зачем парсерам прокси?
Сайты ограничивают число запросов с одного IP-адреса, поэтому парсер, работающий с одного серверного IP, со временем замедляют или блокируют. Если пустить трафик через шлюз прокси, каждый запрос получит другой резидентный IP.
Резидентные IP принадлежат домашним интернет-подключениям, поэтому сайт видит обычных посетителей из множества сетей. Общий объем может быть большим, а частота запросов на один IP остается низкой.
Как работает оплата за день при парсинге?
Безлимитный тариф берет фиксированную цену в день без счетчика трафика. При 200 подключениях и 100 Mbps это $4.85 за один день, а цена в день снижается на 6%, 15% или 24% на тарифах на 7, 30 или 90 дней.
Тяжелые страницы с изображениями или большие ответы JSON стоят столько же, сколько маленькие, потому что байты не учитываются. Тариф подбирается по одновременным подключениям (от 200 до 2,000) и скорости (от 100 до 1,000 Mbps).
Сколько одновременных подключений мне нужно?
Нужное число подключений равно числу запросов, которые парсер держит открытыми одновременно. Краулеру со 150 рабочими потоками подходит ступень 200 подключений с запасом на повторы.
Если вы запускаете несколько парсеров параллельно, сложите их потоки. Когда проект вырастет, выберите в личном кабинете ступень побольше для следующего тарифа.
Какие данные можно собирать?
Обычно это публичные страницы, которые можно открыть без входа: карточки товаров, статьи и открытые каталоги. Перед началом прочитайте условия каждого сайта и законы страны, где вы работаете.
RoyalProxy блокирует аккаунты, которые используются для подбора учетных данных, спама, DDoS или доступа к государственным сайтам. Умеренная частота запросов сохраняет работу сайта для других посетителей и не делает ваш парсер нежеланным гостем.
Настройка RoyalProxy для задачи: Парсинг сайтов
1
Пополните баланс RoyalProxy криптовалютой в окне оплаты (минимум $40).
2
Купите безлимитный резидентный тариф и выберите дни, подключения и скорость.
3
Используйте логин прокси с -zone-unl и добавьте страну, например -cc-us, если данные зависят от региона.
4
Направьте парсер на gate.royalproxy.online, порт 6100 (HTTP) или 6200 (SOCKS5), и каждый запрос будет выходить с нового IP.
Вопросы
Меняется ли IP на каждом запросе?
Да. Без значения -sid в логине каждый запрос выходит через другой резидентный IP.
Можно ли сохранить один IP для сессии на несколько страниц?
Добавьте -sid- и любой ID сессии, а также -ttl- до 60 минут, если нужна заданная длительность. Запросы с одинаковым sid сохраняют один IP на это время.
Есть ли лимит трафика на безлимитном тарифе?
Трафик вообще не учитывается. Тариф определяется только выбранными одновременными подключениями и скоростью.
Что происходит, пока тариф активируется?
Заказ показывает статус активации, пока сеть его не включит. Если его не удается активировать, он отменяется, а вся сумма возвращается на баланс.
Пополните на $40 и получите 105 GB резидентного трафика
Для регистрации нужны только логин и пароль. Баланс и купленный трафик не сгорают.