https://intrepidgeeks.com/tutorial/analyzing-tweet-emotion-using-apache-spark-python

https://github.com/adriel1997/Twitter-Sentiment-Analysis/tree/master/src

아파치 스파크(Aparch Spark)

1.

빅데이터 워크로드에 주로 사용되는 분산처리 시스템

2.

빠른 성능을 위해 인 메모리 캐싱과 최적화 된 실행을 사용하고 일반 배치처리, 스트리밍 분석, 머신러닝, 그래프 데이터 베이스 및 임시 쿼리를 지원한다.

3.

기존의 하둡을 통해 끌어오는 데이터들은 시간 소요가 크기 때문에, 실시간으로 분석해야 하는 업무에서는 어려운 부분이 있어 새롭게 개발된 것이다.

4. 스파크의 워크플로우

• 클러스터에서 데이터 읽기 -> 분석 수행 및 결과값 클러스터 입력 동작 등 전 과정이 동시에 진행

트위터 데이터 수집 과정

트위터 개발자 퍼미션 얻기

How will you use the Twitter API or Twitter Data?

I'm a student, and I'm going to use Twitter api to study. So i'm going to get Twitter comment data on the characters for learning. Based on the comments, my purpose is to know whether it is positive or negative.