Объем без ограничений
Медиа и длинные страницы делают сбор данных сложным для бюджетирования на каждый ГБ. Неограниченный план стоит фиксированно $52.50 в день на 30 дней, независимо от того, перемещает ли краулер 5 ТБ или 50 ТБ.
Широта охвата языков
Неограниченные планы назначают IP из многих стран, что помогает достигать сайтов в их локальных языковых версиях. Для фиксированной страны добавьте пакет резидентских прокси на каждый ГБ на том же аккаунте.
Настройте шаг за шагом
- Шаг 1Оцените ежедневный объем и параллельность.
- Шаг 2Начните с 30-дневного неограниченного плана.
- Шаг 3Распределите задачи по 500 соединениям.
- Шаг 4Соблюдайте правила robots.txt и ограничения по частоте запросов.
- Шаг 5Перейдите на 60 или 90 дней, как только объем стабилизируется.
Вопросы
Сколько соединений я получаю?
500 параллельных соединений со скоростью 100 Мбит/с на каждый план.
Могу ли я смешивать планы?
Да. Многие команды используют неограниченные планы для широкого краулинга и резидентские прокси на каждый ГБ для фиксированных рынков.