Виберіть правильний тип IP для кожного цільового сайту
Почніть кожен новий цільовий сайт зі статичних датацентрових проксі, найдешевших за запит. Якщо цільовий сайт відповідає блоками або капчами, переведіть його на ротаційні житлові проксі, де кожен запит виходить з домашнього підключення. Для дуже великих завдань на багатьох сайтах необмежені житлові плани видаляють лічильник за ГБ.
Більшість команд закінчують зі змішаним підходом: датацентрові IP для відкритих API та простих сайтів, житлові IP для ринків, сторінок пошуку та сайтів подорожей.
Ротація та сесії
Для сторінок списків та результатів пошуку ротуйте IP на кожен запит: залиште ключ сесії поза іменем користувача. Для потоків, які потребують файлів cookie на кількох сторінках, наприклад пагінації за фільтром, додайте ключ сесії та зберігайте IP на кілька хвилин.
Повторіть невдалі запити з новим ключем сесії замість того самого IP. Хороший краулер розглядає блок як сигнал для зміни IP та уповільнення цього одного цільового сайту, а не як причину зупинитися.
Зберігайте вартість за сторінку низькою
Блокуйте зображення, шрифти та відео у вашому безголовому браузері, коли вам потрібен лише текст. Сторінка продукту, яка важить 3 МБ з зображеннями, часто потребує 300 КБ без них, що зменшує ваш рахунок за житловий трафік у десять разів. За $0.35 за ГБ у пакеті на 500 ГБ мільйон легких сторінок коштує набагато менше, ніж очікує більшість команд.
Налаштуйте це крок за кроком
- Крок 1Купити пакет ротаційних резидентних проксі (від $38.00 за 100 ГБ).
- Крок 2Скопіюйте логін шлюзу з Моїх проксі.
- Крок 3Налаштуйте проксі у вашому краулері: http://USER:PASS@gate.proxysite.ink:9000.
- Крок 4Додайте -country-xx для вибору ринку, -session-xx для утримання IP.
- Крок 5Повторіть заблоковані сторінки з новим ключем сесії.
Питання
Який проксі найкращий для веб-скрапінгу?
Ротаційні резидентні проксі працюють на найширшому спектрі сайтів. Датацентрові проксі дешевші для сайтів, які не фільтрують за типом IP. Багато краулерів використовують обидва типи.
Скільки IP мені потрібно?
З ротаційними резидентними проксі вам не потрібно керувати IP: один логін дає доступ до всього пулу з 72M+ IP.
Чи дозволено збирати публічні дані?
Збір публічних даних є поширеною практикою. Поважайте умови кожного сайту, уникайте особистих даних, які ви не маєте підстав обробляти, і тримайте частоту запитів розумною.