Pilih jenis IP yang tepat untuk setiap target
Mulailah setiap target baru dengan proxy datacenter statis, yang paling murah per permintaan. Jika target merespons dengan blokir atau captcha, pindahkan ke proxy residensial berotasi, di mana setiap permintaan berasal dari koneksi rumah. Untuk pekerjaan sangat besar di banyak situs, paket residensial tanpa batas menghilangkan meteran per GB.
Sebagian besar tim akhirnya menggunakan campuran: IP datacenter untuk API terbuka dan situs sederhana, IP residensial untuk pasar, halaman pencarian, dan situs perjalanan.
Rotasi dan sesi
Untuk halaman daftar dan hasil pencarian, rotasikan IP pada setiap permintaan: hilangkan kunci sesi dari nama pengguna. Untuk alur yang membutuhkan cookie di beberapa halaman, seperti paginasi di balik filter, tambahkan kunci sesi dan pertahankan IP selama beberapa menit.
Coba ulang permintaan yang gagal dengan kunci sesi baru alih-alih IP yang sama. Crawler yang baik memperlakukan blokir sebagai sinyal untuk mengganti IP dan memperlambat target tersebut, bukan sebagai alasan untuk berhenti.
Jaga biaya per halaman tetap rendah
Blokir gambar, font, dan video di browser headless Anda ketika Anda hanya membutuhkan teks. Halaman produk yang berbobot 3 MB dengan gambar seringkali hanya membutuhkan 300 KB tanpanya, yang mengurangi tagihan lalu lintas residensial Anda hingga sepuluh kali lipat. Dengan tarif $0.35 per GB pada paket 500 GB, sejuta halaman ringan berbiaya jauh lebih rendah dari yang diharapkan oleh sebagian besar tim.
Atur langkah demi langkah
- Langkah 1Beli paket rotating residential (dari $38.00 untuk 100 GB).
- Langkah 2Salin login gateway dari Proksi Saya.
- Langkah 3Atur proksi di crawler Anda: http://USER:PASS@gate.proxysite.ink:9000.
- Langkah 4Tambahkan -country-xx untuk menargetkan pasar, -session-xx untuk mempertahankan IP.
- Langkah 5Coba ulang halaman yang diblokir dengan kunci sesi baru.
Pertanyaan
Proksi mana yang terbaik untuk web scraping?
Rotating residential proxies bekerja di berbagai situs terluas. Proksi datacenter lebih murah untuk situs yang tidak memfilter berdasarkan jenis IP. Banyak crawler menggunakan keduanya.
Berapa banyak IP yang saya butuhkan?
Dengan rotating residential proxies, Anda tidak perlu mengelola IP: satu login dapat mengakses seluruh pool dari 72M+ IP.
Apakah diperbolehkan untuk melakukan scraping data publik?
Mengumpulkan data publik adalah praktik umum. Hormati ketentuan setiap situs, hindari data pribadi yang tidak memiliki dasar untuk diproses, dan pertahankan tingkat permintaan yang wajar.