ওয়েব স্ক্র্যাপিং জন্য প্রক্সি

প্রতিটি নতুন টার্গেটের জন্য স্ট্যাটিক ডেটাসেন্টার প্রক্সি দিয়ে শুরু করুন, যা প্রতি অনুরোধে সবচেয়ে সস্তা। যদি টার্গেট ব্লক বা ক্যাপচা দিয়ে উত্তর দেয়, তাহলে এটিকে রোটেটিং রেসিডেনশিয়াল প্রক্সিতে নিয়ে যান, যেখানে প্রতিটি অনুরোধ একটি হোম কানেকশন থেকে ছেড়ে যায়। অনেক সাইট জুড়ে খুব বড় কাজের জন্য, আনলিমিটেড রেসিডেনশিয়াল প্ল্যানগুলি প্রতি GB মিটার সরিয়ে দেয়।

বেশিরভাগ টিম একটি মিশ্রণে শেষ করে: ওপেন API এবং সাধারণ সাইটগুলির জন্য ডেটাসেন্টার IP, মার্কেটপ্লেস, সার্চ পেজ এবং ট্রাভেল সাইটগুলির জন্য রেসিডেনশিয়াল IP।

লিস্টিং পেজ এবং সার্চ ফলাফলের জন্য, প্রতিটি অনুরোধে IP রোটেট করুন: ইউজার নাম থেকে সেশন কী বাদ দিন। কুকিজ প্রয়োজন এমন ফ্লোগুলির জন্য, যেমন ফিল্টারের পিছনে পেজিনেশন, একটি সেশন কী যোগ করুন এবং IP কয়েক মিনিটের জন্য রাখুন।

ব্যর্থ অনুরোধগুলি একই IP এর পরিবর্তে একটি নতুন সেশন কী দিয়ে রিট্রাই করুন। একটি ভাল ক্রলার একটি ব্লককে IP পরিবর্তন করতে এবং সেই একটি টার্গেটকে ধীর করতে একটি সংকেত হিসাবে বিবেচনা করে, থামানোর একটি কারণ হিসাবে নয়।

আপনার হেডলেস ব্রাউজারে ইমেজ, ফন্ট এবং ভিডিও ব্লক করুন যখন আপনার শুধুমাত্র টেক্সট প্রয়োজন। ইমেজ সহ একটি প্রোডাক্ট পেজ যা 3 MB ওজনের হয়, প্রায়ই তাদের ছাড়া 300 KB প্রয়োজন, যা আপনার রেসিডেনশিয়াল ট্রাফিক বিল দশ ভাগ কমিয়ে দেয়। 500 GB প্যাকের উপর $0.35 প্রতি GB এ, একটি মিলিয়ন হালকা পেজের খরচ বেশিরভাগ টিমের প্রত্যাশার চেয়ে অনেক কম।