Проксі для збору даних навчання AI
Щоб зібрати датасет з публічного вебконтенту, часто потрібні тижні обходу сайтів багатьма мовами. Безлімітний резидентний тариф RoyalProxy дає цій роботі фіксовану денну ціну й IP у 60 країнах.
Які проксі підходять для збору датасетів?
Підходять ротаційні резидентні проксі з трафіком без обліку, бо під час збору датасетів завантажується багато байтів з різних доменів. З оплатою за GB підсумкова вартість залежала б від розміру сторінок, на який ви не впливаєте.
На безлімітному тарифі RoyalProxy вартість залежить лише від днів, підключень і пропускної здатності. Бюджет на тримісячний збір можна записати ще до першого запиту.
Як збирати контент різними мовами?
Вкажіть код країни в логіні, наприклад -cc-de для Німеччини чи -cc-jp для Японії, і запит виходитиме з цієї країни. Багато сайтів показують локальну мовну версію залежно від IP відвідувача.
Виділіть кожній країні окремий пул воркерів і окремий рядок логіна. Мовні набори даних лишаються чистими, а код краулера не змінюється.
Скільки коштує тривалий збір?
Тариф на 90 днів з 200 підключеннями й 100 Mbps коштує $3.69 на день, на 24% дешевше за ціну одного дня. Для більшого збору 1,000 підключень з 200 Mbps коштують $8.97 на день на тарифі на 30 днів, тобто $269.10 загалом.
У кабінеті тариф може тривати будь-який термін від 1~365 днів. Підберіть термін під графік збору, щоб платити лише за дні, коли ви справді збираєте дані.
Як збирати датасети відповідально?
Збирайте публічно доступний контент, дотримуйтеся robots.txt та умов сайтів і перевірте правила щодо авторського права й захисту даних, які стосуються навчання моделей. Видаляйте непотрібні персональні дані до того, як вони потраплять у датасет.
Обмежуйте кількість запитів на домен, навіть якщо проксі витримає більше. Сайти, що працюють стабільно, можна буде обійти знову для наступної версії датасету.
Налаштування RoyalProxy для Дані для навчання ШІ
1
Поповніть баланс на суму, достатню для всього періоду збору. Одне поповнення може бути до $5,000.
2
Купіть безлімітний тариф на стільки днів, скільки потрібно для збору, від 1~365.
3
Створіть окремий логін для кожної мови, наприклад rpexample1-zone-unl-cc-fr, щоб кожен пул воркерів виходив з потрібної країни.
4
Запустіть краулер через gate.royalproxy.online:6100 і тримайте кількість відкритих підключень у межах ліміту тарифу.
Запитання
Чи може один тариф охопити всі 60 країн?
Так. Один безлімітний тариф працює в усіх 60 країнах, а країну ви обираєте для кожного запиту в логіні.
Чи варто використовувати фіксовані сесії для збору?
Для більшості завдань ротація IP на кожен запит добре розподіляє навантаження. Використовуйте -sid лише для сайтів, яким потрібна сесія з cookie на кількох сторінках.
Якими способами можна оплатити?
Поповнення оплачуються криптовалютою через захищене вікно оплати: USDT у мережах TRON, BNB Smart Chain, Ethereum або Solana, USDC, BTC, ETH, BNB, SOL і LTC.
Що буде із залишком балансу?
Невикористаний баланс лишається на акаунті без терміну дії. Ним можна оплатити наступний збір, коли ви його почнете.
Інші сценарії використання
Поповніть на $40 і отримайте 105 GB резидентного трафіку
Для реєстрації потрібні лише логін і пароль. Баланс і куплений трафік не мають терміну дії.