추출 속도 조절은 언제 필요한가요? | FAQ 전 세계에서 동시다발적으로 트래픽이 발생해 방문자 수가 굉장히 많은 웹 사이트들이 있습니다. 쉽게 말해 유튜브, 아마존과 같은 웹 사이트는 동시에 방문하는 사용자 수가 굉장히 많은 편이죠. 이와 같은 사이트에서 데이터를 수집 시 수집 속도가 너무 빠르게 설정되어 있다면, 해당 웹 사이트에서 사이트 방문을 어뷰징으로 판단해 데이터 추출을 제한할 수 있어요. 다시 말해, 데이터 추출이 실패하게 되죠. 사용자 IP 주소가 차단될 수도 있습니다. 리스틀리에서는 추출 실패를 방지하기 위해 데이터보드 우측 상단에 파란색 바(bar)를 만들어 데이터 추출 실행속도를 사용자가 조절할 수 있도록 지원하고 있습니다. 1. 추출 속도 줄이기 데이터 수집 속도는 동시에 수집하는 URL 개수 를 의미합니다. 즉, " ...
갑자기 데이터 추출 속도가 느려졌습니다. (추출 중 에러) | FAQ 문제 없이 추출이 잘 되고 있었는 데, 갑자기 추출 속도가 느려질 때가 있습니다. 이 경우 다양한 이유가 존재할 수 있으나 가장 대표적인 이유로는 5가지가 있습니다. 그룹 추출속도를 낮춘 것이 아닌지, 한번에 너무 많은 양의 데이터를 수집하는 것은 아닌지, (엔터프라이즈 사용자가 아닐 경우) 사용자가 한꺼번에 몰린 시간에 추출 중인 것은 아닌지, 프록시서버를 설정했는지, 추출하려는 웹사이트의 응답이 느린지 여부를 확인해보시길 권합니다. 그룹 추출속도가 느리게 설정되어 있을 때 느리게 추출할 수록, 타겟 웹사이트는 '사람이 하나하나 클릭해서 접속하는 것'으로 인지할 확률이 높아집니다. 그러나 추출속도가 너무 과하게 느리다면 간단하게 다시 속도를 조정해주면 됩니다. 먼저 데이터보드 ...
