เลือกประเภท IP ที่เหมาะสมต่อเป้าหมาย
เริ่มต้นทุกเป้าหมายใหม่ด้วย Datacenter Proxy ที่คงที่ซึ่งถูกที่สุดต่อคำขอ หากเป้าหมายตอบกลับด้วยการบล็อกหรือแคปช่า ให้ย้ายไปยัง Residential Proxy ที่หมุนเวียนซึ่งแต่ละคำขอออกจากที่อยู่อาศัย สำหรับงานขนาดใหญ่มากข้ามหลายไซต์ แผน Residential ที่ไม่จำกัดเอานาฬิกาต่อ GB ออก
ทีมส่วนใหญ่จบลงด้วยการผสมผสาน: IP Datacenter สำหรับ API ที่เปิดและไซต์ง่ายๆ, IP Residential สำหรับตลาด, หน้าผลการค้นหาและไซต์การเดินทาง
การหมุนเวียนและเซสชัน
สำหรับหน้ารายการและผลการค้นหา ให้หมุนเวียน IP ในทุกคำขอ: ปล่อยคีย์เซสชันออกจากชื่อผู้ใช้ สำหรับขั้นตอนที่ต้องการคุกกี้ข้ามหลายหน้า เช่น การแบ่งหน้าข้างหลังตัวกรอง ให้เพิ่มคีย์เซสชันและเก็บ IP เป็นเวลาสองสามนาที
ลองคำขอที่ล้มเหลวใหม่ด้วยคีย์เซสชันใหม่แทนที่จะใช้ IP เดียวกัน ครอว์เลอร์ที่ดีถือว่าการบล็อกเป็นสัญญาณให้เปลี่ยน IP และชะลอเป้าหมายนั้นหนึ่งราย ไม่ใช่เหตุผลที่จะหยุด
รักษาค่าใช้จ่ายต่อหน้าให้ต่ำ
บล็อคภาพ, ฟอนต์และวิดีโอในเบราว์เซอร์เฮดเลสเมื่อคุณต้องการแค่ข้อความ หน้าผลิตภัณฑ์ที่หนัก 3 MB พร้อมภาพมักต้องการ 300 KB โดยไม่มีภาพ ซึ่งลดค่าใช้จ่าย Residential Proxy ของคุณลงสิบเท่า ที่ $0.35 ต่อ GB ในแพ็ค 500 GB หนึ่งล้านหน้าเบาใช้เงินน้อยกว่าที่ทีมส่วนใหญ่คาดไว้มาก
ตั้งค่าทีละขั้นตอน
- ขั้นตอนที่ 1ซื้อแพ็ค Residential หมุนเวียน (จาก $38.00 สำหรับ 100 GB)
- ขั้นตอนที่ 2คัดลอกข้อมูลเข้าสู่ Gateway จาก My proxies
- ขั้นตอนที่ 3ตั้งค่า Proxy ใน Crawler ของคุณ: http://USER:PASS@gate.proxysite.ink:9000
- ขั้นตอนที่ 4เพิ่ม -country-xx เพื่อกำหนดเป้าหมายตลาด, -session-xx เพื่อคง IP เดียว
- ขั้นตอนที่ 5ลองหน้าเว็บที่ถูกบล็อกใหม่ด้วย Session Key ใหม่
คำถาม
Proxy ชนิดไหนดีที่สุดสำหรับการเว็บสแครปปิ้ง?
Rotating Residential Proxies ทำงานได้กับเว็บไซต์หลากหลายประเภท Datacenter Proxies ถูกกว่าสำหรับเว็บไซต์ที่ไม่กรองตามประเภท IP Crawler หลายตัวใช้ทั้งสองแบบ
ต้องการ IP กี่ตัว?
ด้วย Rotating Residential Proxies คุณไม่ต้องจัดการ IP: การเข้าสู่ระบบหนึ่งครั้งเข้าถึงพูลทั้งหมดของ 72M+ IPs
การสแครปปิ้งข้อมูลสาธารณะอนุญาตหรือไม่?
การเก็บรวบรวมข้อมูลสาธารณะเป็นเรื่องปกติ เคารพข้อกำหนดของแต่ละเว็บไซต์ หลีกเลี่ยงข้อมูลส่วนบุคคลที่คุณไม่มีสิทธิ์ประมวลผล และรักษาอัตราการร้องขอให้สมเหตุสมผล