0. KoNLPy의 설치

참고: https://webnautes.tistory.com/1394

1. JAVA 설치 및 환경 변수 설정
2. JPype whl 파일 다운로드 및 pip를 통한 설치
3. pip를 통한 konlpy 설치

1. KoNLPy를 통한 형태소 분류 (=토큰화)

• 형태소 분류기 클래스의 종류 (5가지)

  • Hannanum (한나눔)
  • Kkma (꼬꼬마)
  • Komoran
  • Mecab
  • Okt (前 Twitter)

• Kkma or Okt를 주로 사용함

• 어떤 걸 써야 할까요?

  • 참고: https://ratsgo.github.io/from frequency to semantics/2017/05/10/postag/
  • 빠른 분석이 중요할 때 : Okt
  • 정확한 품사 정보가 필요할 때 : 꼬꼬마
  • 정확성, 시간 모두 중요할 때 : 코모란

  분류기.morph

  • 품사를 태깅하지 않고, 형태소 단위로 텍스트를 토큰화 하는 작업.

    

  분류기.nouns

  • 텍스트 중 명사로 태깅된 형태소만 불러오는 작업

    

  분류기.pos

  • nltk의 pos.tag와 유사

  • 품사 태깅이 가능함 - 명사, 동사, 형용사, 조사 등등

    → 이를 활용하여 분석에 쓰이지 않는 품사(ex. 조사)들은 따로 제거가 가능함

    

  분류기.sentences

  • 문장 단위로 텍스트 분리

2. 기타 제공 모듈

1. 말뭉치

   • KoNLPy는 Kolaw, Kobill 두가지의 말뭉치를 제공함.
     • Kolaw : 한국 법률 말뭉치
     • Kobill : 대한민국 국회 의안 말뭉치 (파일 이름: 의안 번호)

   # Kolaw 말뭉치 로드
   >>> from konlpy.corpus import kolaw
   >>> c = kolaw.open('constitution.txt').read()
   >>> print c[:10]
   대한민국 헌법
   
   유구한 역사와
   
   # Kobill 말뭉치 로드
   >>> from konlpy.corpus import kobill
   >>> d = kobill.open('1809890.txt').read()
   >>> print d[:15]
   지방공무원법 일부개정법률안