쇼핑 사이트의 댓글을 분석하여 요약한 뒤 사용자에게 도움되는 지표로 상품을 큐레이션 해주는 웹 서비스
사야해 프로젝트는 상품 구매평들을 자연어 처리를 통해 통계적 정보 제공하는 프로젝트 입니다. 네이버 쇼핑을 대상으로 프로토타이핑을 진행하였습니다.
제가 맡았던 분야는 자연어 처리, 크롤링 그리고 백엔드입니다.
자연어 처리는 Python 과 여러 라이브러리를 응용하였습니다. 대표적으로 KoNLPy 를 통해 형태소 분석 등을 하고 포스 태깅 정보에 패턴 분석을 하여 상품의 중요한 정보를 나타내는 명사와 정성적 정보로서 부사와 형용사를 추출하여 통계를 추출하였습니다.
크롤링으로는 쿠팡과 네이버 쇼핑을 진행하였고 실제 서비스를 개발한다 생각하고 크롤링 결과를 텔레그램 봇으로 전달 받는 등 모니터링을 구현하였습니다.
백엔드로 Node.js 의 Express 를 사용하여 웹 서버를 구축하였습니다. MongoDB 를 사용하였고 로그 수집등과 구축에 의의를 두고 ELK 를 사용하여 클러스터링을 구현하였습니다.