Escolha o tipo de IP certo por alvo
Comece cada novo alvo com proxies de datacenter estáticos, os mais baratos por solicitação. Se o alvo responder com bloqueios ou captchas, mude para proxies residenciais rotativos, onde cada solicitação sai de uma conexão residencial. Para trabalhos muito grandes em muitos sites, planos residenciais ilimitados removem o medidor por GB.
A maioria das equipes acaba com uma mistura: IPs de datacenter para APIs abertas e sites simples, IPs residenciais para marketplaces, páginas de pesquisa e sites de viagens.
Rotação e sessões
Para páginas de listagem e resultados de pesquisa, rotacione o IP em cada solicitação: deixe a chave de sessão fora do nome de usuário. Para fluxos que precisam de cookies em várias páginas, como paginação por trás de um filtro, adicione uma chave de sessão e mantenha o IP por alguns minutos.
Tente novamente solicitações falhas com uma nova chave de sessão em vez do mesmo IP. Um bom crawler trata um bloqueio como um sinal para mudar de IP e desacelerar aquele alvo, não como um motivo para parar.
Mantenha o custo por página baixo
Bloqueie imagens, fontes e vídeos no seu navegador headless quando você só precisa de texto. Uma página de produto que pesa 3 MB com imagens muitas vezes precisa de 300 KB sem elas, o que reduz sua conta de tráfego residencial em dez vezes. A $0.35 por GB no pacote de 500 GB, um milhão de páginas leves custam muito menos do que a maioria das equipes espera.
Configure passo a passo
- Passo 1Compre um pacote de proxies residenciais rotativos (a partir de $38.00 para 100 GB).
- Passo 2Copie o login do gateway em Meus proxies.
- Passo 3Configure o proxy no seu crawler: http://USER:PASS@gate.proxysite.ink:9000.
- Passo 4Adicione -country-xx para segmentar um mercado, -session-xx para manter um IP.
- Passo 5Tente novamente páginas bloqueadas com uma nova chave de sessão.
Dúvidas
Qual proxy é melhor para web scraping?
Proxies residenciais rotativos funcionam na maior variedade de sites. Proxies de datacenter são mais baratos para sites que não filtram por tipo de IP. Muitos crawlers usam ambos.
Quantos IPs eu preciso?
Com proxies residenciais rotativos, você não gerencia IPs: um login acessa todo o pool de 72M+ IPs.
Raspagem de dados públicos é permitida?
Coletar dados públicos é uma prática comum. Respeite os termos de cada site, evite dados pessoais que você não tem base para processar e mantenha as taxas de solicitação razoáveis.