Selenium 라이브러리는 본래 웹사이트의 테스트를 위한 목적으로 제작되었지만 자바스크립트 같이 동적으로 구성된 페이지를 크롤링하거나 사이트 캡쳐 등을 할 때에도 사용
웹 브라우저를 원격 조작하는 방식
자동으로 url 열고 클릭할 수 있으며 스크롤하거나 문자를 입력하는 등의 다양한 조작. 화면 캡쳐해서 이미지로 저장하거나 HTML의 특정부분 꺼내는 것도 가능
BeautifulSoup은 웹사이트에서 버튼을 클릭해야 얻을 수 있는 데이터나, Javascript 에 조건이 충족되어야만 얻을 수 있는 데이터에 접근하는 것에 한계가 있음.
또한 웹크롤링을 하다 다음과 같은 어려움을 마주할 때가 있음.
해당 웹사이트가 프로그램을 통한 접근 허용하지 않는 경우
해당 웹사이트가 로그인을 요구하는 경우
해당 웹사이트가 동적 웹페이지로 구성되어 있는 경우
→ 이럴 때 가장 손쉽고 효과적인 방법이 바로 selenium을 이용하는 것!!
pip install selenium
beautifulsoup 없다면 이것도 설치 → pip install beautifulsoup