Pilih jenis IP yang betul untuk setiap sasaran
Mulakan setiap sasaran baru dengan proksi pusat data statik, yang paling murah setiap permintaan. Jika sasaran memberikan blok atau captcha, pindahkannya ke proksi kediaman berputar, di mana setiap permintaan berasal dari sambungan rumah. Untuk tugas yang sangat besar merentasi banyak laman web, pelan proksi kediaman tanpa had menghilangkan meter per GB.
Kebanyakan pasukan akhirnya menggunakan gabungan: IP pusat data untuk API terbuka dan laman web mudah, IP kediaman untuk pasaran, halaman carian dan laman web perjalanan.
Putaran dan sesi
Untuk halaman senarai dan keputusan carian, putar IP pada setiap permintaan: tinggalkan kunci sesi daripada nama pengguna. Untuk aliran yang memerlukan kuki merentasi beberapa halaman, seperti paginasi di belakang penapis, tambahkan kunci sesi dan kekalkan IP selama beberapa minit.
Cuba semula permintaan yang gagal dengan kunci sesi baru dan bukannya IP yang sama. Pengikis yang baik menganggap blok sebagai isyarat untuk menukar IP dan memperlahankan sasaran tersebut, bukan sebagai alasan untuk berhenti.
Jaga kos per halaman rendah
Sekat imej, fon dan video dalam pelayar tanpa kepala anda apabila anda hanya memerlukan teks. Halaman produk yang beratnya 3 MB dengan imej sering memerlukan 300 KB tanpanya, yang mengurangkan bil trafik kediaman anda sebanyak sepuluh kali ganda. Pada $0.35 per GB untuk pek 500 GB, sejuta halaman ringan berharga jauh lebih rendah daripada yang dijangkakan oleh kebanyakan pasukan.
Sediakannya langkah demi langkah
- Langkah 1Beli pakej residen berputar (dari $38.00 untuk 100 GB).
- Langkah 2Salin log masuk gateway dari Proksi saya.
- Langkah 3Tetapkan proksi dalam pengumpul anda: http://USER:PASS@gate.proxysite.ink:9000.
- Langkah 4Tambahkan -country-xx untuk mensasarkan pasaran, -session-xx untuk memegang IP.
- Langkah 5Cuba semula halaman yang disekat dengan kunci sesi baru.
Soalan
Proksi mana yang terbaik untuk pengikisan web?
Proksi residen berputar berfungsi pada pelbagai laman web. Proksi pusat data lebih murah untuk laman web yang tidak menapis mengikut jenis IP. Banyak pengumpul menggunakan kedua-duanya.
Berapa banyak IP yang saya perlukan?
Dengan proksi residen berputar, anda tidak perlu mengurus IP: satu log masuk mencapai seluruh kolam 72M+ IP.
Adakah pengikisan data awam dibenarkan?
Mengumpul data awam adalah amalan biasa. Hormati terma setiap laman web, elakkan data peribadi yang anda tidak mempunyai asas untuk memproses, dan kekalkan kadar permintaan yang munasabah.