Chọn loại IP phù hợp cho mỗi mục tiêu
Bắt đầu mỗi mục tiêu mới với proxy trung tâm dữ liệu tĩnh, rẻ nhất cho mỗi yêu cầu. Nếu mục tiêu trả lời với các khối hoặc captcha, chuyển nó sang proxy dân cư luân chuyển, nơi mỗi yêu cầu xuất phát từ một kết nối gia đình. Đối với các công việc rất lớn trên nhiều trang web, các gói proxy dân cư không giới hạn loại bỏ đồng hồ đo mỗi GB.
Hầu hết các nhóm kết thúc với một sự kết hợp: IP trung tâm dữ liệu cho các API mở và các trang web đơn giản, IP dân cư cho các thị trường, trang tìm kiếm và trang du lịch.
Luân chuyển và phiên
Đối với các trang danh sách và kết quả tìm kiếm, luân chuyển IP trên mỗi yêu cầu: bỏ khóa phiên khỏi tên người dùng. Đối với các luồng cần cookie trên nhiều trang, chẳng hạn như phân trang sau một bộ lọc, thêm khóa phiên và giữ IP trong vài phút.
Thử lại các yêu cầu thất bại với một khóa phiên mới thay vì cùng một IP. Một trình thu thập dữ liệu tốt coi một khối là tín hiệu để chuyển đổi IP và làm chậm mục tiêu đó, không phải là lý do để dừng lại.
Giữ chi phí mỗi trang thấp
Chặn hình ảnh, phông chữ và video trong trình duyệt không đầu khi bạn chỉ cần văn bản. Một trang sản phẩm nặng 3 MB với hình ảnh thường cần 300 KB mà không có chúng, điều này cắt giảm hóa đơn lưu lượng dân cư của bạn xuống mười. Với $0.35 mỗi GB trên gói 500 GB, một triệu trang nhẹ có chi phí thấp hơn nhiều so với hầu hết các nhóm mong đợi.
Thiết lập từng bước
- Bước 1Mua gói proxy residential xoay vòng (từ $38.00 cho 100 GB).
- Bước 2Sao chép thông tin đăng nhập gateway từ My proxies.
- Bước 3Thiết lập proxy trong trình thu thập dữ liệu của bạn: http://USER:PASS@gate.proxysite.ink:9000.
- Bước 4Thêm -country-xx để nhắm mục tiêu một thị trường, -session-xx để giữ một IP.
- Bước 5Thử lại các trang bị chặn với một session key mới.
Câu hỏi
Loại proxy nào tốt nhất để thu thập dữ liệu web?
Proxy residential xoay vòng hoạt động trên nhiều loại trang web nhất. Proxy datacenter rẻ hơn cho các trang web không lọc theo loại IP. Nhiều trình thu thập dữ liệu sử dụng cả hai.
Tôi cần bao nhiêu IP?
Với proxy residential xoay vòng, bạn không cần quản lý IP: một lần đăng nhập truy cập vào toàn bộ pool gồm 72M+ IP.
Việc thu thập dữ liệu công khai có được phép không?
Thu thập dữ liệu công khai là thực tế phổ biến. Tôn trọng điều khoản của từng trang web, tránh dữ liệu cá nhân mà bạn không có cơ sở để xử lý và giữ tỷ lệ yêu cầu hợp lý.