무한 스크롤 되는 페이지의 웹 크롤링

무한 스크롤 (infinite scroll) 또는 자동 스크롤 (auto scroll)은 웹 사이트에서 보여지는 디지털 콘텐츠를 여러 페이지로 나누어 보여주는 방법인데요, 인스타그램, 페이스북과 같은 소셜 네트워크 서비스에서 흔히 볼 수 있습니다. 이렇게 웹 페이지 하단으로 스크롤을 내려야만 새로운 글이나 이미지를 볼 수 있는 경우에도 간단히 데이터를 추출하는 방법, 리스틀리가 알려드릴게요!

한 눈에 살펴보기

  1. 자동 스크롤 웹 사이트 방문
  2. 리스틀리 전체 (LISTLY WHOLE) 혹은 리스틀리 (LISTLY PART) 부분 선택
  3. 데이터보드에서 설정 아이콘 클릭
  4. 자동 스크롤 반복 횟수 변경
  5. 재추출 버튼을 클릭해 데이터 추출 완료

오늘은 휴대폰 케이스로 유명한 케이스티파이 (Casetify) 웹 사이트를 한번 살펴보겠습니다.

하단의 이미지처럼, 케이스티파이는 웹 페이지 하단으로 스크롤을 내릴 때마다 새로운 제품 정보가 나타나는 자동 스크롤 웹 사이트입니다.

infinite-scrolling-castify-1

한번 리스틀리 부분 (LISTLY PART) 버튼을 클릭해보면 휴대폰 케이스 정보가 일부 추출된 것을 확인하실 수 있어요.

infinite-scrolling-castify-2

현재 보여지는 휴대폰 케이스뿐만 아니라 모든 케이스 정보를 추출하고 싶을 경우, 리스틀리 데이터보드에서 설정 (Setting) 아이콘을 선택해주세요.

infinite-scrolling-castify-3

설정 페이지를 아래로 조금 내려보면 더 많은 데이터 로딩을 위한 자동스크롤 (AUTO SCROLL TO LOAD MORE DATA) 영역이 나타날거예요. 반복할 횟수 (Repeat N times)를 5회로 임의로 설정한 뒤, 데이터보드에서 재추출 (Refresh) 버튼을 클릭해볼게요.

infinite-scrolling-castify-4
infinite-scrolling-castify-5

이전보다 더 많은 케이스 정보가 추출되지 않았나요? 아직도 추출한 휴대폰 케이스 정보 남아 있다면, 자동스크롤 반복 횟수를 늘려주세요! 자, 그럼 반복할 횟수를 20번으로 늘려볼까요?

infinite-scrolling-castify-6

몇 번의 클릭만으로 자동 스크롤 웹 페이지에서도 데이터를 추출할 수 있겠죠? 엑셀 (EXCEL) 버튼을 클릭해 추출한 데이터를 엑셀 파일로 정리해보세요. 리스틀리와 함께 간편하게 데이터를 수집하고 정리할 수 있답니다.

더 이상 어렵게 데이터 수집을 하지 마세요.

리스틀리를 사용하면 코딩을 몰라도 파이썬을 몰라도 대부분의 웹 페이지 데이터 수집을 간편하게 하실 수 있습니다. 리스틀리는 크롬/엣지/웨일 브라우저의 확장 프로그램을 통해 누구나 설치가 가능하며, 1Page -> Excel 변환은 무제한 무료로 서비스되고 있어 간단한 웹 페이지 크롤링은 무료 버젼만으로도 문제 없답니다.

​전 세계 5만여 곳에서 다양한 업무에 사용중인 리스틀리를 지금 바로 설치하고 데이터 수집의 고통에서 벗어나보세요.