Wählen Sie den richtigen IP-Typ pro Ziel
Beginnen Sie jedes neue Ziel mit Static Datacenter Proxies, den günstigsten pro Anfrage. Wenn das Ziel mit Blocks oder Captchas antwortet, verschieben Sie es zu Rotating Residential Proxies, wo jede Anfrage von einer Heimverbindung ausgeht. Für sehr große Aufgaben über viele Websites entfernen Unlimited Residential Plans den pro GB-Zähler.
Die meisten Teams landen mit einer Mischung: Datacenter-IPs für offene APIs und einfache Websites, Residential-IPs für Marktplätze, Suchseiten und Reisewebsites.
Rotation und Sitzungen
Für Listing-Seiten und Suchergebnisse rotieren Sie die IP bei jeder Anfrage: lassen Sie den Sitzungsschlüssel aus dem Benutzernamen weg. Für Abläufe, die Cookies über mehrere Seiten benötigen, wie Paginierung hinter einem Filter, fügen Sie einen Sitzungsschlüssel hinzu und behalten Sie die IP für einige Minuten.
Wiederholen Sie fehlgeschlagene Anfragen mit einem neuen Sitzungsschlüssel statt derselben IP. Ein guter Crawler behandelt einen Block als Signal, die IP zu wechseln und dieses eine Ziel zu verlangsamen, nicht als Grund zum Stoppen.
Halten Sie die Kosten pro Seite niedrig
Blockieren Sie Bilder, Schriftarten und Videos in Ihrem Headless-Browser, wenn Sie nur Text benötigen. Eine Produktseite, die mit Bildern 3 MB wiegt, benötigt oft nur 300 KB ohne sie, was Ihre Residential-Traffic-Rechnung um das Zehnfache reduziert. Bei $0.35 pro GB im 500 GB-Paket kosten eine Million leichte Seiten weit weniger, als die meisten Teams erwarten.
Richten Sie es Schritt für Schritt ein
- Schritt 1Kaufen Sie ein rotierendes Residential-Paket (von $38.00 für 100 GB).
- Schritt 2Kopieren Sie den Gateway-Login aus Meine Proxies.
- Schritt 3Setzen Sie den Proxy in Ihrem Crawler: http://USER:PASS@gate.proxysite.ink:9000.
- Schritt 4Fügen Sie -country-xx hinzu, um einen Markt anzuvisieren, -session-xx, um eine IP zu halten.
- Schritt 5Wiederholen Sie blockierte Seiten mit einem neuen Session-Schlüssel.
Fragen
Welcher Proxy ist am besten für Web-Scraping geeignet?
Rotierende Residential-Proxies funktionieren auf den meisten Websites. Datacenter-Proxies sind günstiger für Websites, die nicht nach IP-Typ filtern. Viele Crawler verwenden beide.
Wie viele IPs benötige ich?
Mit rotierenden Residential-Proxies verwalten Sie keine IPs: Ein Login erreicht den gesamten Pool von 72M+ IPs.
Ist das Scrapen öffentlicher Daten erlaubt?
Das Sammeln öffentlicher Daten ist gängige Praxis. Respektieren Sie die Nutzungsbedingungen jeder Website, vermeiden Sie personenbezogene Daten, für die Sie keine Grundlage haben, und halten Sie die Anfragehäufigkeit angemessen.