為每個目標選擇正確的 IP 類型
每個新目標都從靜態數據中心 Proxy 開始，這是每個請求最便宜的選擇。如果目標返回阻止或驗證碼，則將其轉移到輪換住宅 Proxy，其中每個請求都來自家庭連接。對於跨多個站點的非常大的任務，無限住宅計劃取消了每 GB 計量。
大多數團隊最終會混合使用：數據中心 IP 用於開放 API 和簡單站點，住宅 IP 用於市場、搜索頁面和旅遊網站。
輪換和會話
對於列表頁面和搜索結果，每次請求都輪換 IP：將會話密鑰從用戶名中刪除。對於需要跨多個頁面的 cookie 的流程，例如篩選後的分頁，請添加會話密鑰並保持 IP 幾分鐘。
使用新的會話密鑰重試失敗的請求，而不是使用相同的 IP。一個好的爬蟲將阻止視為切換 IP 並減慢該目標的信號，而不是停止的理由。
保持每頁成本低
當您只需要文本時，在無頭瀏覽器中阻止圖像、字體和視頻。一個帶有圖像的產品頁面通常重 3 MB，而沒有圖像時只需要 300 KB，這將您的住宅流量費用減少十倍。在 500 GB 套餐中每 GB $0.35，一百萬個輕量頁面的成本遠低於大多數團隊的預期。
逐步設置
- 步驟 1購買旋轉住宅流量包（從 $38.00 起，100 GB）。
- 步驟 2從「我的代理」複製網關登入資料。
- 步驟 3在您的爬蟲中設定代理：http://USER:PASS@gate.proxysite.ink:9000。
- 步驟 4加入 -country-xx 以鎖定市場，-session-xx 以保持 IP。
- 步驟 5使用新的 session key 重試被封鎖的頁面。
常見問題
哪種代理最適合網頁爬取？
旋轉住宅代理適用於最廣泛的網站。數據中心代理對於不按 IP 類型過濾的網站更便宜。許多爬蟲同時使用兩者。
我需要多少個 IP？
使用旋轉住宅代理時，您無需管理 IP：一個登入即可存取整個 72M+ IP 池。
爬取公開數據是否允許？
收集公開數據是常見做法。請尊重每個網站的條款，避免處理您無權處理的個人數據，並保持合理的請求頻率。