목차

Crawling

웹 페이지에 접속해서 정보를 찾는 과정을 프로그램을 통해 찾아 수집하고 원하는 형태에 맞게 가공하는 모든 과정.

• 사이트의 운영자의 의사에 반하지 않으면 합법이고 그렇지 않으면 불법
• 사이트 디렉토리의 robots.txt파일을 보면 크롤링을 금지하는지 안하는지표시되어있음 (Disallow라는 표시 있으면 크롤링하면 안 됨)
• 웹페이지 소스 중 웹 프로그래밍 요소는 저작물로 인정될 수 있으므로 불법 복제는 저작권 침해에 해당.

필요패키지

• (필수) pip3 install BeautifulSoup4 or pip3 install bs4
• (필수) pip3 install requests
• (필수) pip3 install pandas
• (필수) pip3 install plotly
• (선택) pip3 install lxml

라이브러리 설치 (대부분 설치되어있다는 가정 하)

• !pip3 install requests
• !pip3 install beautifulsoup4

!pip3 install requests

!pip3 install beautifulsoup4

# mac , Linux 
!ls
# window
!dir 

Out[-]
C 드라이브의 볼륨에는 이름이 없습니다.
 볼륨 일련 번호: CC5E-6766

 C:\\Users\\leehojun\\Google 드라이브\\11_1. 콘텐츠 동영상 결과물\\007. 크롤링 강의 디렉터리

2020-04-03  13:16    <DIR>          .
2020-04-03  13:16    <DIR>          ..
2020-04-03  13:10    <DIR>          .ipynb_checkpoints
2020-04-03  12:18           391,939 001.ipynb
2020-04-03  01:58    <DIR>          참고자료
2020-04-03  13:16               999 최종강의자료_크롤링.ipynb
               2개 파일             392,938 바이트
               4개 디렉터리  13,425,782,784 바이트 남음