OLTP vs OLAP

• OLTP (online transaction processing) is responsible for collecting, storing, and processing data from transactions in real-time.
• OLAP (online analytical processing) is responsible for analyzing historical data from OLTP systems using queries.

탄생 배경

Twitter에서는 HDFS에 SNS에서 발생한 대량의 데이터를 저장하는데, 데이터의 양이 방대해 너무 많은 디스크를 소모하는 것을 개선하기 위해 데이터 사이즈를 줄이는 파일 포맷을 개발하게 됨.

→ 작은 파일 사이즈와 낮은 I/O 사용을 목적으로 개발

Parquet의 장점

• 모든 종류의 빅데이터를 저장하는 데 적합합니다(구조적 데이터 테이블, 이미지, 동영상, 문서).
• 매우 효율적인 컬럼 전체 압축 방식, 그리고 다양한 데이터 유형의 컬럼에 대한 유연한 인코딩 방식을 사용하여 클라우드 스토리지 공간에 저장합니다.
• 데이터 건너뛰기 등의 기술을 사용하여 데이터 처리량과 성능을 높였습니다. 따라서 특정 컬럼 값을 가져오는 쿼리는 전체 데이터 행을 읽을 필요가 없습니다.

<aside> 💡 한줄 요약 : 열을 기반으로 데이터를 처리하면 행 기반으로 압축 했을때에 비해 데이터의 압축률이 더 높고, 필요한 열의 데이터만 읽어서 처리하는 것이 가능하기 때문에 데이터 처리에 들어가는 지원을 절약할 수 있음.

</aside>

Parquet 단위

Encoding Techniques

Encoding:

In computers, encoding is the process of putting a sequence of characters (letters, numbers, punctuation, and certain symbols) into a specialized format for efficient transmission or storage.

<aside> 💡 Delta Encoding It involves storing the difference between adjacent values in a column, rather than storing each value individually.

[10, 12, 15, 18, 20] → [10, +2, +3, +3, +2]

[2023-04-19 10:00:00, 2023-04-19 10:10:00, 2023-04-19 10:20:00] → [2023-04-19 10:00:00, +10:00, +10:00]

</aside>