根據目標選擇正確的 IP 類型
每個新目標都從靜態數據中心 Proxy 開始，這是每個請求最便宜的選擇。如果目標回應封鎖或驗證碼，則將其轉移到輪換住宅 Proxy，每個請求都來自家庭連接。對於跨越多個網站的非常大型任務，無限住宅計劃取消了每 GB 計量。
大多數團隊最終會混合使用：數據中心 IP 用於開放 API 和簡單網站，住宅 IP 用於市場、搜尋頁面和旅遊網站。
輪換和會話
對於列表頁面和搜尋結果，每個請求都輪換 IP：在用戶名中省略會話鍵。對於需要跨多個頁面的流程，例如篩選後的分頁，添加會話鍵並保持 IP 幾分鐘。
使用新的會話鍵重試失敗的請求，而不是使用相同的 IP。一個好的爬蟲將封鎖視為切換 IP 並減慢該目標的信號，而不是停止的理由。
降低每頁成本
當您只需要文本時，在無頭瀏覽器中封鎖圖片、字體和視頻。一個帶有圖片的產品頁面通常重 3 MB，而沒有圖片時只需要 300 KB，這將您的住宅流量費用降低了十倍。在 500 GB 套餐中，每 GB $0.35，一百萬個輕量頁面的成本遠低於大多數團隊的預期。
逐步設置
- 步驟 1購買旋轉住宅代理方案（從 $38.00 起，100 GB）。
- 步驟 2從「我的代理」複製閘道登入資訊。
- 步驟 3在您的爬蟲中設定代理：http://USER:PASS@gate.proxysite.ink:9000。
- 步驟 4新增 -country-xx 以鎖定市場，新增 -session-xx 以保持 IP 不變。
- 步驟 5使用新的 session key 重試被封鎖的頁面。
常見問題
哪種代理最適合網頁爬取？
旋轉住宅代理適用於最廣泛的網站。資料中心代理對於不按 IP 類型過濾的網站來說更便宜。許多爬蟲同時使用這兩種。
我需要多少個 IP？
使用旋轉住宅代理時，您無需管理 IP：一個登入即可存取整個 72M+ IP 池。
爬取公開資料是否允許？
收集公開資料是常見做法。請尊重每個網站的條款，避免處理您無權處理的個人資料，並保持合理的請求頻率。