ウェブスクレイピング用プロキシ

新しいターゲットごとに、リクエストあたり最も安価な静的データセンターのプロキシから始めます。ターゲットがブロックやキャプチャで応答する場合は、各リクエストが家庭接続から出るローテーション住宅用プロキシに移動します。多くのサイトにわたる非常に大きなジョブの場合、無制限の住宅用プランはGBあたりのメーターを削除します。

ほとんどのチームは、オープンAPIやシンプルなサイトにはデータセンターIP、マーケットプレイス、検索ページ、旅行サイトには住宅用IPという組み合わせになります。

リストページや検索結果の場合、リクエストごとにIPをローテーションします: ユーザー名からセッションキーを除外します。フィルターの背後にあるページネーションなど、複数のページにわたってクッキーが必要なフローの場合、セッションキーを追加し、数分間IPを保持します。

失敗したリクエストは、同じIPではなく新しいセッションキーで再試行します。優れたクローラーは、ブロックを停止する理由ではなく、IPを切り替えてそのターゲットを遅くする信号として扱います。

テキストだけが必要な場合は、ヘッドレスブラウザで画像、フォント、動画を読み込まないようにしましょう。画像込みで3 MBの商品ページも、画像なしなら300 KBで済むことが多く、レジデンシャルのトラフィック費用は10分の1になります。500 GBパックの1 GBあたり$0.35なら、軽いページ100万件のコストは多くのチームの予想よりずっと低くなります。