에러메시지가 나타나고, 추출에 실패했습니다.
0. 에러메시지와 스크린샷 이해하기
ConnectionError 메시지는 페이지 접속에 실패한 경우 나타납니다. 방문한 서버가 다운되었거나, 너무 느린 경우 발생할 수 있어요. 또는 리스틀리 서버의 IP 주소가 차단되어 데이터를 추출하고자 하는 웹 사이트에서 에러를 반환하는 것일 수도 있습니다.
NoMatchingtabError는 탭 매칭에 실패했거나, 혹은 마찬가지로 페이지 접속에 실패한 경우 나타납니다. 높은 확률로 리스틀리 서버의 IP주소가 차단되어 에러를 반환하는 경우가 많습니다.
PartSelectionError 도 리스틀리 IP 주소가 차단되어 지정하신 파트 추출이 불가능한 경우 발생할 수 있는 에러 메시지입니다.
우선 당황하지 마시고, 에러메시지를 확인하신 뒤 스크린샷부터 확인해주세요.
스크린샷 이미지가 만약 아래 예시 이미지와 같다면, 높은 확률로 IP 주소가 차단된 상황입니다.
1.실행속도를 최대한 느리게 조절하기
전세계 사용자가 몰리는 유명 웹사이트들이 있습니다. 이러한 웹사이트들은 전 세계로부터 들어오는 어뷰징 트래픽이 많은데요. 리스틀리를 사용해 데이터를 수집할 시, 수집 속도가 너무 빠르다면 해당 웹사이트는 이러한 시도를 어뷰징으로 판단하게 되어 데이터 추출이 실패하게 됩니다. 최악의 상황으로는 사용자의 IP address를 차단당할 수 있지요. 이러한 상황을 방지하기 위해서 리스틀리 팀은 실행속도를 사용자가 조절할 수 있도록, 데이터보드 우측 상단에 파란색 bar를 만들어두었습니다.
2.프록시서버 설정하기
프록시 서버는 사용자가 어떤 사이트에 접속할 때 중간 과정에서 경유하는 서버를 의미합니다. 프록시 서버 설정을 하는 이유는 접속자의 IP 주소를 감추기 위해서 입니다.
주소를 감추는 이유는 무엇일까요? 접속하는 사이트에서 IP 주소를 바탕으로 다양한 제약을 걸 수 있기 때문입니다. 다음의 상황들이 대표적입니다.
- 특정 나라에서만 사이트 접속할 수 있게 제한할 때
- 일정 시간 동안 사이트 접속 횟수를 제한할 때
- 나쁜 기록이 쌓인 특정 IP 주소를 제한할 때
리스틀리 프리미엄 프록시는 리스틀리가 해외 업체로부터 유료로 구매한 프록시 서버들입니다. 모든 사용자들이 함께 사용하는 공용 서버입니다.
현재 미국/독일/네덜란드 서버들을 제공하고 있으며, 국가는 계속 변할 수 있습니다.
2 -1 공용프록시로도 차단되었을 때: 단독 프록시서버 설정하기
공용프록시를 사용했는데도 Connection Error/ Empty Data Error 메시지가 나타나며 차단되었다는 스크린샷이 나타난다면?
공용프록시 서버를 셋업하셨더라도 또 차단을 당한 상황입니다.
기본 제공 프록시서버는, 여러분 뿐만 아니라 다른 여러 유료 사용자가 함께 쓰는 공용프록시이기 때문입니다.
여러분이 특정한 공용 프록시를 쓰지 않았더라도, 타 사용자가 해당 프록시서버를 사용해서 여러분이 원하는 웹사이트를 추출하려다 차단을 당할 수 있습니다.
따라서 다른 사용자와 프록시 서버를 공유함으로 인한 리스크를 없애기 위해서는 단독 프록시 서버를 사용하는 편이 좋습니다.
단독 프록시는 따로 구매를 요청하신 사용자만 독점적으로 사용 가능하므로, 다른 사용자로 인한 차단 걱정 없이 안정적인 서버 설정이 가능합니다.
또한, 리스틀리가 기본적으로 제공하는 프록시 국가 외의 다른 나라 프록시가 필요한 경우에도 단독 프록시를 사용하는 것이 좋습니다. (동유럽/중동/남미/오세아니아 국가 등)
물론 단독프록시를 사용하더라도, 지속적으로 너무 많은 양의 데이터를 빠르게 수집하다보면 차단당할 확률이 존재합니다.
이 경우, 추가금액 없이 1회에 한해 타사 프록시로 변경해드리거나 다른 프록시 서버를 구매하여설정해드립니다.
이 때는 사용자님 단 한 분을 위한 단독프록시서버를 구독할 수 있는데요.
hello@listly.io 로, 원하는 국가 프록시서버 및 예상 월 추출 데이터 양을 알려주세요.
예시) 일본 프록시서버 / 월 7,000건 추출 예상
예시) 한국 프록시서버 / 월 500건 추출 예상
월 구독료는 60,000원부터 시작됩니다.
다만 품질이 좋은 프록시서버일수록 차단 당할 확률은 낮아지만, 가격 또한 품질에 비례해 높아집니다.
3.그룹추출 url 주소들의 수를 줄이기
만약 여러분이 1000개의 url주소들을 넣어서 그룹추출을 원한다고 가정해보겠습니다.
그런데 이미 수많은 접속 및 데이터 추출 시도를 방어하는 거대 플랫폼이라면, 그룹추출의 url주소가 많아질수록 공격이라고 간주할 수 있습니다.
따라서 그룹추출 시 url주소를 넣을 때, 한번에 바로 추출을 하시기보다는 조금씩 url 주소들을 쪼개어서 추출하시는 것을 권해드립니다.
예를 들어 1000개의 url주소를 넣어 그룹추출을 하셨는데 추출에 실패하셨다면?
100개나, 200개로 나눠 여러 번에 걸쳐 그룹추출을 하셔서 차단을 방지하시기를 권해드립니다.