वेब स्क्रैपिंग के लिए प्रॉक्सी

हर नए लक्ष्य के लिए स्टैटिक डेटासेंटर प्रॉक्सी से शुरू करें, जो प्रति अनुरोध सबसे सस्ता है। यदि लक्ष्य ब्लॉक या कैप्चा के साथ जवाब देता है, तो इसे रोटेटिंग रेजिडेंशियल प्रॉक्सी पर ले जाएं, जहां प्रत्येक अनुरोध एक घर कनेक्शन से छोड़ता है। बहुत बड़े कार्यों के लिए जो कई साइटों पर फैले हुए हैं, अनलिमिटेड रेजिडेंशियल प्लान प्रति GB मीटर को हटा देते हैं।

अधिकांश टीमें एक मिश्रण के साथ समाप्त होती हैं: खुले APIs और सरल साइटों के लिए डेटासेंटर IPs, मार्केटप्लेस, खोज पृष्ठों और यात्रा साइटों के लिए रेजिडेंशियल IPs।

लिस्टिंग पृष्ठों और खोज परिणामों के लिए, प्रत्येक अनुरोध पर IP रोटेट करें: यूजर नाम से सत्र कुंजी को छोड़ दें। उन फ्लो के लिए जिन्हें कई पृष्ठों पर कुकीज़ की आवश्यकता होती है, जैसे कि एक फिल्टर के पीछे पेजिनेशन, एक सत्र कुंजी जोड़ें और IP को कुछ मिनटों के लिए रखें।

विफल अनुरोधों को एक नई सत्र कुंजी के साथ पुनः प्रयास करें, न कि उसी IP के साथ। एक अच्छा क्रॉलर एक ब्लॉक को IP बदलने और उस एक लक्ष्य को धीमा करने के संकेत के रूप में मानता है, न कि रुकने के कारण के रूप में।

जब आपको केवल टेक्स्ट की आवश्यकता होती है, तो अपने हेडलेस ब्राउज़र में छवियों, फोंट और वीडियो को ब्लॉक करें। एक उत्पाद पृष्ठ जो छवियों के साथ 3 MB वजन करता है, अक्सर उनके बिना 300 KB की आवश्यकता होती है, जो आपके रेजिडेंशियल ट्रैफ़िक बिल को दस से कम कर देता है। 500 GB पैक पर $0.35 प्रति GB पर, एक मिलियन हल्के पृष्ठों की लागत अधिकांश टीमों की अपेक्षा से कहीं कम होती है।