Wybierz odpowiedni typ IP dla celu
Zacznij każdy nowy cel od statycznych proxy datacenter, najtańszych na żądanie. Jeśli cel odpowiada blokadami lub captchami, przenieś go do rotacyjnych proxy rezydencyjnych, gdzie każde żądanie wychodzi z domowego połączenia. W przypadku bardzo dużych zadań na wielu stronach, nieograniczone plany rezydencyjne usuwają licznik za GB.
Większość zespołów kończy z mieszanką: IP datacenter dla otwartych API i prostych stron, IP rezydencyjne dla rynków, stron wyszukiwania i stron podróżniczych.
Rotacja i sesje
Dla stron z listami i wynikami wyszukiwania rotuj IP przy każdym żądaniu: pomiń klucz sesji w nazwie użytkownika. Dla przepływów wymagających ciasteczek na kilku stronach, takich jak paginacja za filtrem, dodaj klucz sesji i utrzymuj IP przez kilka minut.
Ponów nieudane żądania z nowym kluczem sesji zamiast tego samego IP. Dobry crawler traktuje blokadę jako sygnał do zmiany IP i spowolnienia tego jednego celu, a nie jako powód do zatrzymania.
Utrzymuj koszt na stronę niski
Blokuj obrazy, czcionki i wideo w swojej przeglądarce headless, gdy potrzebujesz tylko tekstu. Strona produktu, która waży 3 MB z obrazami, często potrzebuje 300 KB bez nich, co zmniejsza rachunek za ruch rezydencyjny dziesięciokrotnie. Przy $0.35 za GB w pakiecie 500 GB, milion lekkich stron kosztuje znacznie mniej, niż większość zespołów się spodziewa.
Skonfiguruj krok po kroku
- Krok 1Kup pakiet rotujących proxy mieszkaniowych (od $38.00 za 100 GB).
- Krok 2Skopiuj dane logowania do bramki z Moje proxy.
- Krok 3Skonfiguruj proxy w swoim crawlerze: http://USER:PASS@gate.proxysite.ink:9000.
- Krok 4Dodaj -country-xx, aby wybrać rynek, -session-xx, aby utrzymać IP.
- Krok 5Ponów próbę na zablokowanych stronach z nowym kluczem sesji.
Pytania
Które proxy jest najlepsze do scrapingu stron internetowych?
Rotujące proxy mieszkaniowe działają na najszerszym zakresie stron. Proxy datacenter są tańsze dla stron, które nie filtrują po typie IP. Wiele crawlerów używa obu.
Ile IP potrzebuję?
Z rotującymi proxy mieszkaniowymi nie zarządzasz IP: jedno logowanie daje dostęp do całej puli 72M+ IP.
Czy scrapowanie publicznych danych jest dozwolone?
Zbieranie publicznych danych to powszechna praktyka. Szanuj warunki każdej strony, unikaj danych osobowych, których nie masz podstawy przetwarzać, i utrzymuj rozsądne tempo żądań.