대상에 맞는 IP 유형 선택
새 대상은 요청당 가장 저렴한 고정 데이터센터 프록시로 시작하세요. 차단이나 캡차가 뜨면 그 대상은 요청마다 가정용 회선에서 나가는 로테이팅 주거용 프록시로 옮기세요. 여러 사이트에 걸친 아주 큰 작업은 무제한 주거용 플랜으로 GB 단위 요금을 없앨 수 있어요.
대부분의 팀은 데이터센터 IP와 주거용 IP를 혼합해서 사용해요. 데이터센터 IP는 오픈 API와 간단한 사이트에, 주거용 IP는 마켓플레이스, 검색 페이지, 여행 사이트에 적합하죠.
회전 및 세션
목록 페이지 및 검색 결과의 경우 요청마다 IP를 회전하세요: 사용자 이름에서 세션 키를 제외하세요. 필터 뒤의 페이지 매김과 같이 여러 페이지에 걸쳐 쿠키가 필요한 흐름의 경우 세션 키를 추가하고 몇 분 동안 IP를 유지하세요.
실패한 요청을 같은 IP 대신 새로운 세션 키로 다시 시도해요. 좋은 크롤러는 차단을 그 대상의 IP를 바꾸고 속도를 늦추라는 신호로 받아들이고, 멈추는 이유로 받아들이지 않아요.
페이지당 비용을 낮게 유지하세요
헤드리스 브라우저에서 텍스트만 필요할 때 이미지, 폰트, 비디오를 차단하세요. 이미지가 포함된 제품 페이지가 3 MB라면, 이미지를 제외하면 300 KB로 줄어들어요. 이렇게 하면 주거용 트래픽 비용을 10분의 1로 절약할 수 있어요. 500 GB 패키지에서 GB당 $0.35로 계산하면, 백만 개의 가벼운 페이지 비용은 대부분의 팀이 예상하는 것보다 훨씬 적게 들어요.
단계별로 설정하세요
- 1단계로테이팅 주거용 패키지를 구매하세요 (100GB 기준 $38.00).
- 2단계내 프록시에서 게이트웨이 로그인을 복사하세요.
- 3단계크롤러에 프록시를 설정하세요: http://USER:PASS@gate.proxysite.ink:9000.
- 4단계특정 시장을 타겟하려면 -country-xx를 추가하고, IP를 유지하려면 -session-xx를 추가하세요.
- 5단계차단된 페이지는 새로운 세션 키로 다시 시도하세요.
질문
웹 스크래핑에 가장 적합한 프록시는 무엇인가요?
로테이팅 주거용 프록시는 가장 다양한 사이트에서 작동해요. 데이터센터 프록시는 IP 유형으로 필터링하지 않는 사이트에 더 저렴하죠. 많은 크롤러가 둘 다 사용해요.
몇 개의 IP가 필요한가요?
로테이팅 주거용 프록시를 사용하면 IP를 직접 관리할 필요가 없어요. 하나의 로그인으로 72M+개의 IP 풀 전체에 접근할 수 있어요.
공개 데이터 스크래핑이 허용되나요?
공개 데이터 수집은 일반적인 관행이에요. 각 사이트의 이용 약관을 준수하고, 처리할 근거가 없는 개인 데이터는 피하며, 요청 속도를 적절히 유지하세요.