1. 데이터 용어 해설

**Data Lakes and hybrid Data Warehouses are certainly a wonderful tool to make the company data-driven and to bring it forward. However, such a Data Lake must be managed and maintained, otherwise it degenerates into a Data Swamp. This often leads to the fact that information is wrong and users do not use it at all, then Data Lakes do not create any advantages but only produce costs.

- What is Data Swamp? -**

Data Warehouse

• 대표적인 데이터 저장소

  → 대량의 데이터를 장기 보관 (보통 3개월~1년)

• 다양한 source의 데이터를 분석 가능하고 구조화된 형식으로 저장 → 구조화된 정형 데이터를 담는 repository → Data-driven 의사결정을 도움 (For Analytics and Reporting) → 다양한 source에서 필요한 데이터를 그대로 가져오기도 하지만, 보통 ETL 과정 거침

• 기본적인 RDB와 달리 주로 columnar (column-oriented) 형태로 관리됨
  • 주제 지향적 (subjectoriented)
  • 통합적 (integrated)
  • 시계열적 (timevarient)
  • 비휘발적 (nonvolatile)

Data Mart

• 특정 분야의 데이터를 정제, 집계해서 따로 담고 있는 데이터 저장소
  • 팀, 부서별로 구축 및 관리
  • 데이터 웨어하우스보다 최종 사용자에 근접한 데이터스토어
  • 최종 사용자가 필요로 하는 속성을 갖고 있는 작은 데이터 집합
  • 비교적 소량의 데이터를 가지며 전체 컬럼에 대한 조회가 잦음 → RDB 형태를 주로 채택
• 소수의 소스로부터 or 데이터 웨어하우스로부터 ETL 프로세싱하여 구성

• 용도에 따라 나누어놓고 OLAP 작업 통해 BI(Business Intelligence) 실현

  → 시각화 등 BI 툴을 추가하여 사용하기도 한다.

Data Lake

“일단 저장하고 필요할 때 꺼내쓴다!”

• 정형 / 비정형 데이터 모두를 저장하고 관리하는 저장소