Choisissez le bon type d'IP par cible
Commencez chaque nouvelle cible avec des proxies datacenter statiques, les moins chers par requête. Si la cible répond avec des blocages ou des captchas, passez à des proxies résidentiels rotatifs, où chaque requête part d'une connexion domestique. Pour les très gros travaux sur de nombreux sites, les plans résidentiels illimités suppriment le compteur par Go.
La plupart des équipes finissent par utiliser un mélange : des IP datacenter pour les API ouvertes et les sites simples, des IP résidentielles pour les places de marché, les pages de recherche et les sites de voyage.
Rotation et sessions
Pour les pages de listes et les résultats de recherche, faites tourner l'IP à chaque requête : laissez la clé de session hors du nom d'utilisateur. Pour les flux nécessitant des cookies sur plusieurs pages, comme la pagination derrière un filtre, ajoutez une clé de session et conservez l'IP pendant quelques minutes.
Réessayez les requêtes échouées avec une nouvelle clé de session au lieu de la même IP. Un bon crawler traite un blocage comme un signal pour changer d'IP et ralentir cette cible, plutôt que comme une raison d'arrêter.
Gardez le coût par page bas
Bloquez les images, les polices et les vidéos dans votre navigateur headless lorsque vous n'avez besoin que de texte. Une page produit qui pèse 3 Mo avec les images nécessite souvent 300 Ko sans elles, ce qui réduit votre facture de trafic résidentiel par dix. À $0.35 par Go sur le pack de 500 Go, un million de pages légères coûtent bien moins que ce que la plupart des équipes prévoient.
Configurez-le étape par étape
- Étape 1Achetez un pack résidentiel rotatif (à partir de $38.00 pour 100 Go).
- Étape 2Copiez les identifiants de la passerelle dans Mes proxies.
- Étape 3Configurez le proxy dans votre crawler : http://USER:PASS@gate.proxysite.ink:9000.
- Étape 4Ajoutez -country-xx pour cibler un marché, -session-xx pour conserver une IP.
- Étape 5Réessayez les pages bloquées avec une nouvelle clé de session.
Questions
Quel proxy est le meilleur pour le scraping web ?
Les proxies résidentiels rotatifs fonctionnent sur la plus large gamme de sites. Les proxies datacenter sont moins chers pour les sites qui ne filtrent pas par type d'IP. De nombreux crawlers utilisent les deux.
De combien d'IP ai-je besoin ?
Avec les proxies résidentiels rotatifs, vous ne gérez pas les IP : un seul identifiant donne accès à l'ensemble du pool de 72M+ IPs.
Le scraping de données publiques est-il autorisé ?
La collecte de données publiques est une pratique courante. Respectez les conditions de chaque site, évitez les données personnelles que vous n'avez pas de raison de traiter, et maintenez des taux de requêtes raisonnables.