자료조사 : Cody / Ryu

• Spark 이란?

• Spark 의 기능 / 라이브러리 / 병렬 처리 엔진 에 대하여

• RDD

• 각 데몬의 역할 (Driver / Master / Worker)

• Spark 의 장단점

• 봇팀의 Spark 코드

• Spark 을 사용한 다른 서비스 사례

• 번외) Storm, 파케이 etc

Spark 이란?

범용적이고 빠른 빅데이터 연산 작업을 수행하도록 설계된 "분산 클러스터링 플랫폼"

메모리 하둡이라고도 불립니다

기존의 하둡이 M/R 작업을 디스크 기반으로 수행하기 때문에 느려지는 성능을 메모리 기반으로 옮겨서 고속화 하고자 하는데서 출발했습니다