학습 자료 (한글책 p 기준)

[정현석. 1~4p 중간까지]

Chaper 1. 아파치 스파크 소개: 통합 분석 엔진

• 구글은 대규모 데이터의 저장, 처리, 분석, 검색, 추천 등을 위해 분산 처리 시스템과 빅데이터 기술을 중요하게 다뤄왔다.
• 그 결과, 구글 파일 시스템(Google File System), 맵리듀스(MapReduce), 빅테이블(BigTable) 등을 만들어냈다.
  • 구글 파일 시스템(Google File System) : 대규모 클러스터에서 서버가 내결합성을 가지는 분산 파일시스템
    • 하둡 파일 시스템(HDFS)
  • 빅테이블(BigTable) : GFS를 기반으로 정형화된 대규모 데이터의 저장 수단을 제공
    • HBase
  • 맵리듀스(MapRedue) : 함수형 프로그래밍 개념을 기반으로 GFS와 빅테이블 위에서 대규모 데이터 분산 처리 프레임워크
    • 분산 시스템의 특성 기반 데이터의 지역성과 랙(rack)의 접근성을 고려한다.

하둡(Hadoop)

• **하둡(Hadoop)**은 대규모 데이터를 분산 처리할 수 있는 자바 기반의 오픈소스 프레임워크이다.
  • 구글의 GFS 논문에 기반해 비영리 재단인 아파치에서 오픈소스로 구현했다.
• 하둡은 대규모 데이터를 처리할 수 있으며, 높은 가용성, 확장성, 신뢰성을 제공하는 등 대규모 분산 시스템으로 동작하지만 몇 가지 단점이 있다.

  1. 번거로운 운영 복잡도로 인해 관리가 쉽지 않다.

  2. 맵리듀스같은 경우 많은 양의 setup 코드가 필요했으며, failure 대응 또한 불안정하다.

  3. 작업(job)이 각 태스크(task)로 나누어져 데이터 처리를 할 경우, 중간 과정(예를 들어 map(), shuffle()…)의 데이터를 로컬 디스크에 써야 했는데 반복적인 I/O 수행은 비효율적이다.

     

  4. 하둡은 머신러닝이나 스트리밍, SQL 질의 등 다른 워크로드와 연계에 대한 한계가 존재한다.

스파크(Spark)

• 하둡 맵리듀스 작업에 참여한 UC 버클리의 연구원들은 비효율적이고 배우기 힘든 단점들을 인지해 단순하고 빠르고 더 쉬운 스파크 프레임워크를 개발하는 것을 생각했다.
• 높은 내결함성, 높은 병렬성, 메모리에 중간값을 저장, 쉽고 구성이 간편한 API를 다양한 언어로 제공함 등을 초기 프로젝트 개발로 생각했다.

[백지연. 4p 중간부터 8p 중간까지]

스파크 설계 철학의 4요소

1. 속도

• CPU와 메모리 성능의 향상 등으로 인한 속도 향상
• 스파크의 질의 연산은 방향성 비순환 그래프(directed acyclic graph, DAG)로 구성
  • DAG의 스케줄러와 질의 최적화 모듈은 효율적인 연산 그래프를 만들어, 클러스터의 워커 노드 위에서 병렬 수행될 수 있도록 해줌
• 물리적 실행엔진인 텅스텐(Tungsten)은 전체적 코드 생성 기법을 써서, 간결한 코드를 생성
• 모든 중간 결과는 메모리에 유지, 디스크 I/O를 제한적으로 사용

2. 사용편리성

• 스파트는 고수준 데이터 추상화 계층(ex. 데이터프레임/데이터셋) 아래에 유연한 분산 데이터세트(RDD)라 불리는 단순한 논리 자료구조를 구축
• 연산의 종류로서 트랜스포메이션과 액션의 집합과 단순한 프로그래밍 모델을 제공

3. 모듈성

• 문서화가 잘 된 API로 구성된 통합 라이브러리 제공