위키백과 덤프파일

처리 과정

1. 사용자 사전 정의를 위해 위키백과의 덤프 파일을 이용하여 제목을 파싱한다.
   • https://dumps.wikimedia.org/kowiki/20220901/
   • pages-articles.xml.bz2 - 일반 문서의 최신 버전만이 묶여 있고, 전체 편집 역사는 들어있지 않습니다. 대부분의 이용자는 이 파일을 이용하면 됩니다. 위 url에서 pages-articles.xml.bz2파일을 다운로드함

[참고]

• https://kugancity.tistory.com/entry/한국어-뉴스-데이터로-딥러닝-시작하기-2-위키-덤프-데이터-파싱하기
• https://velog.io/@yaincoding/엘라스틱서치-실습하기-좋은-위키-데이터셋-다운받고-정제하기

Mecab 설치 (for Linux)

• sudo apt-get install g++ openjdk-8-jdk python3-dev python3-pip curl
• python3 -m pip install --upgrade pip
• python3 -m pip install konlpy
• sudo apt-get install curl git
• bash <(curl -s <https://raw.githubusercontent.com/konlpy/konlpy/master/scripts/mecab.sh>)

사용자 정의 사전 추가