갑자기 데이터 추출 속도가 느려졌습니다. (추출 중 에러)
문제 없이 추출이 잘 되고 있었는 데, 갑자기 추출 속도가 느려질 때가 있습니다.
이 경우 다양한 이유가 존재할 수 있으나 가장 대표적인 이유로는 5가지가 있습니다.
그룹 추출속도를 낮춘 것이 아닌지, 한번에 너무 많은 양의 데이터를 수집하는 것은 아닌지, (엔터프라이즈 사용자가 아닐 경우) 사용자가 한꺼번에 몰린 시간에 추출 중인 것은 아닌지, 프록시서버를 설정했는지, 추출하려는 웹사이트의 응답이 느린지 여부를 확인해보시길 권합니다.
- 그룹 추출속도가 느리게 설정되어 있을 때
느리게 추출할 수록, 타겟 웹사이트는 '사람이 하나하나 클릭해서 접속하는 것'으로 인지할 확률이 높아집니다.
그러나 추출속도가 너무 과하게 느리다면 간단하게 다시 속도를 조정해주면 됩니다.
먼저 데이터보드로 접속해주세요.
현재 추출 중인 모든 그룹의 속도를 조절하고 싶다면, 우측 상단의 파란색 바 모양의 '추출속도' 버튼을 클릭해주세요.
15 tasks 가 가장 빠른 속도이며, 1 task로 내려갈수록 느려집니다.
전체적으로 추출 중인 모든 태스크의 속도를 조정하고 싶지 않고, 특정 그룹의 추출 속도만 따로 조정하고 싶으신가요? 그렇다면 원하시는 그룹의 설정을 눌러주세요. 가장 최상단에 나타나는 추출 속도를 조정해주시면 됩니다.
2. 한번에 많은 양의 데이터를 수집하고 있을 때
그룹추출은 수 십, 수백 건의 데이터 추출을 한 번에 자동으로 추출하는 기능이죠.
그렇지만 10,000개 가량의 데이터를 한꺼번에 추출할 때는 속도가 다소 저하될 수 있습니다.
너무 속도가 느려졌다고 생각하신다면, 데이터 수를 쪼개서 추출하는 방안을 제안드립니다.
10,000개의 데이터를 한번에 추출하시기보다 2,500개씩 4번 추출하여 통합하는 방법이 더 빠를수도 있거든요.
3. (엔터프라이즈 사용자가 아닐 경우) 갑자기 '대기중' 에서 멈추거나, 속도가 이유 없이 저하되었을 때
리스틀리의 서버는 공용으로 사용되기에, 사용자들이 특정 시간대에 몰린다면 추출 속도가 저하될 수 있습니다.
특히 한국 사용자 분들이 많은 수를 차지하고 있기에 국내 업무 시간인 월요일부터 금요일, 오전 10시부터 오후 3시 중에 해당 문제가 발생하는 경우가 잦습니다.
이 시간대를 피해 추출하시고 싶다면 스케줄러 기능을 활용하실 수 있습니다.
4. 프록시서버를 설정했는지
간혹 프록시서버를 붙이고 난 뒤 소폭 데이터 추출 속도가 느려지는 경우가 생깁니다.
리스틀리에서 다른 프록시 업체의 프록시서버를 붙이기 때문에, 응답속도가 저하되기 때문에 그렇습니다.
이 경우 설정하셨던 프록시서버를 다시 해제하고 재추출해보세요.
5. 추출하려는 웹사이트의 응답이 느린지
사실 가장 해결방법이 까다로운 사례입니다. 리스틀리는 로그인 기능이나 각종 액션을 수행할 때, 페이지 로딩을 완전히 마쳤는지 확인하는데요.
그래서 추출을 원하는 사이트의 반응이 늦을수록 '추출중' 상태가 계속 이어지거나 데이터 추출속도가 느려질 수 있습니다.
타겟 웹사이트의 문제이기에 리스틀리가 특정한 조치를 취할 수는 없습니다. 하지만 다른 시간대에 추출 시도를 해보시길 권해드립니다.
해당 웹사이트 접속자 수가 달라지거나, 내부 구조가 달라진다면 페이지 응답속도도 빨라질 수 있기 때문입니다.
