웹 크롤링 시스템 아이디어

사이트의 이상 여부를 확인하기 위해, 셀레니움을 이용하여, 특정 사이트에 접속한 후, 사이트의 랜더링이 정상적으로 이루어졌는지를 확인한다.

사이트에서 접속이 가능한 링크를 모두 접속하여, 해당 페이지가 정상적으로 랜더링이 되는지를 확인하는 것이 목적이다.

 

목적 사이트와 종료 조건이 필요하다.

 

목적 사이트는 웹 크롤링으로 접속한 후, 페이지 랜더링이 정상적으로 이루어졌는지 확인하기 위한 최초의 최상위 사이트로, 해당 사이트에서부터 접속이 가능한 링크를 서치하여, 마우스 클릭을 모방한다.

 

마우스 클릭과 스크롤 다운으로 애니메이션이 필요한 페이지 영역까지 모두 정상적으로 랜더링이 되었는지를 확인하기 위해, 일정 간격으로 스크린 샷을 찍거나, 동영상으로 기록하여, 정상적인 사이트 랜더링 결과와 비교하도록 한다.

 

1차적인 목표는 목적 사이트로 접속한 후, 사용자의 동작을 모방하여 모든 사이트를 순회하여, 랜더링 결과를 기록하도록 하는 것이다.