1. 매달 카테고리별 크롤링 자동화

4월부터 9월까지 크롤링하는 코드!!

깃 pull 받은 후 Data 폴더에서 실행

변경해야될 부분

• autocrawling 쉘 파일에 search와 category id
• autocrawling.py 에 url과 주석부분 (아래에 작성)

autocrawling shell

• 코드는 아래와 같음. 실행할 때 마다 설정한 검색 내용을 달마다 크롤링한다.
• 9월부터 시작해서 4월달까지 파이썬 코드를 실행함
• 우빈이가 드라마와 영화 먼저 시도하라고 해서 다른 카테고리 제외 드라마와 영화만 크롤링하기!!

#!/bin/bash

# crawling_category(searches, category_id, month, nation_id)
# python3 -c 'import autocrawling; autocrawling.crawling_category(["Olahraga Korea","sepak bola korea"], [2,3], 9, 5)'
# python3 -c 'import autocrawling; autocrawling.crawling_category(["Olahraga Korea","sepak bola korea"], [2,3], 8, 5)'
# python3 -c 'import autocrawling; autocrawling.crawling_category(["Olahraga Korea","sepak bola korea"], [2,3], 7, 5)'
python3 -c 'import autocrawling; autocrawling.crawling_category(["Olahraga Korea","sepak bola korea"], [2,3], 6, 5)'
python3 -c 'import autocrawling; autocrawling.crawling_category(["Olahraga Korea","sepak bola korea"], [2,3], 5, 5)'
python3 -c 'import autocrawling; autocrawling.crawling_category(["Olahraga Korea","sepak bola korea"], [2,3], 4, 5)'

exit 0

• 만약 본인의 검색할 나라의 id는 4이고, 검색할 내용이 (a, b, c, d, e), 검색 순서대로 검색내용의 카테고리 번호가 1,5,4,3,2이며 9월을 크롤링 한다면 아래 코드와 같다.
• 따라서 아래 코드를 메모장에 복사한 후 9월부터 4월까지로 복붙하여 shell 코드를 새로 만듭시다.
  • python3 -c 'import test; test.cawrling_category([”a”, “b”, “c”, “d”, “e”], [1,5,4,3,2], 9, 4)’
  • cawrling_category([검색 내용들. 반드시 ""로 감싸야 함], [검색 내용에 알맞은 카테고리 id(순서 같아야 함), 몇 월, 나라 id)
  • 스포츠 (1)
    • a
  • 가수 (4)
    • b
  • 배우 (5)
    • c
  • 드라마 (2)
    • d
  • 영화 (3)
    • e

쉘 스크립트 만드는 법

• vi (파일 이름)
• i 를 누르고 cntl+shift+v(붙여넣기)
• esc
• :wq