Выберите правильный тип IP для цели
Начинайте каждую новую цель с датацентровых прокси, самых дешёвых за запрос. Если цель отвечает блокировками или капчами, переключитесь на ротируемые резидентские прокси, где каждый запрос исходит из домашнего подключения. Для очень больших задач на множестве сайтов безлимитные резидентские планы убирают ограничения по ГБ.
Большинство команд в итоге используют смесь: датацентровые IP для открытых API и простых сайтов, резидентские IP для маркетплейсов, страниц поиска и туристических сайтов.
Ротация и сессии
Для страниц списков и результатов поиска меняйте IP на каждый запрос: не указывайте ключ сессии в имени пользователя. Для потоков, требующих сохранения кук на нескольких страницах, например пагинации за фильтром, добавьте ключ сессии и сохраняйте IP на несколько минут.
Повторяйте неудачные запросы с новым ключом сессии вместо того же IP. Хороший краулер воспринимает блокировку как сигнал сменить IP и замедлить работу с этой целью, а не как причину остановиться.
Снижайте стоимость за страницу
Блокируйте изображения, шрифты и видео в вашем headless-браузере, если вам нужен только текст. Страница товара, которая весит 3 МБ с изображениями, часто требует 300 КБ без них, что сокращает ваш счёт за резидентский трафик в десять раз. При цене $0.35 за ГБ на пакете 500 ГБ миллион лёгких страниц обойдётся гораздо дешевле, чем ожидает большинство команд.
Настройте шаг за шагом
- Шаг 1Купить пакет ротирующихся резидентных прокси (от $38.00 за 100 ГБ).
- Шаг 2Скопируйте данные для входа в шлюз в разделе Мои прокси.
- Шаг 3Настройте прокси в вашем парсере: http://USER:PASS@gate.proxysite.ink:9000.
- Шаг 4Добавьте -country-xx для выбора страны, -session-xx для фиксации IP.
- Шаг 5Повторяйте заблокированные запросы с новым ключом сессии.
Вопросы
Какие прокси лучше всего подходят для парсинга?
Ротирующиеся резидентные прокси работают на наибольшем количестве сайтов. Дата-центровые прокси дешевле для сайтов, которые не фильтруют по типу IP. Многие парсеры используют оба типа.
Сколько IP-адресов мне нужно?
С ротирующимися резидентными прокси вам не нужно управлять IP: один логин дает доступ ко всему пулу из 72M+ IP-адресов.
Разрешено ли парсить публичные данные?
Сбор публичных данных, распространенная практика. Уважайте условия каждого сайта, избегайте персональных данных, для обработки которых у вас нет оснований, и соблюдайте разумные частоты запросов.