根据目标选择正确的IP类型
每个新目标都从静态数据中心代理开始，这是每个请求最便宜的选择。如果目标返回阻止或验证码，则将其转移到轮换住宅代理，其中每个请求都来自家庭连接。对于跨多个站点的非常大的任务，无限住宅计划取消了每GB计费。
大多数团队最终会混合使用：数据中心IP用于开放API和简单站点，住宅IP用于市场、搜索页面和旅行站点。
轮换和会话
对于列表页面和搜索结果，每次请求都轮换IP：在用户名中省略会话密钥。对于需要跨多个页面的cookie的流程，例如过滤器后的分页，添加会话密钥并保持IP几分钟。
使用新的会话密钥而不是相同的IP重试失败的请求。一个好的爬虫程序将阻止视为切换IP并减慢该目标的信号，而不是停止的原因。
保持每页成本低
当您只需要文本时，在无头浏览器中阻止图像、字体和视频。带有图像的产品页面通常重3 MB，而没有图像时只需要300 KB，这将您的住宅流量账单减少十倍。在500 GB套餐中，每GB $0.35，一百万轻量页面的成本远低于大多数团队的预期。
逐步设置
- 步骤 1购买旋转住宅代理套餐（$38.00 起，100 GB）。
- 步骤 2从我的代理中复制网关登录信息。
- 步骤 3在爬虫中设置代理：http://USER:PASS@gate.proxysite.ink:9000。
- 步骤 4添加 -country-xx 以定位市场，添加 -session-xx 以保持 IP。
- 步骤 5使用新的会话密钥重试被阻止的页面。
常见问题
哪种代理最适合网页抓取？
旋转住宅代理适用于最广泛的网站。数据中心代理对于不按 IP 类型过滤的网站更便宜。许多爬虫同时使用两者。
我需要多少个 IP？
使用旋转住宅代理时，您无需管理 IP：一个登录即可访问整个 72M+ IP 池。
抓取公开数据是否允许？
收集公开数据是常见做法。请尊重每个网站的条款，避免处理您无权处理的个人数据，并保持合理的请求频率。