https://medium.com/@otter./what-is-apache-iceberg-feat-snowflake-1부-25a68606aee4

https://youtu.be/SJjKR_mpaDM?si=sZIj3dWTlQbexy10

https://youtu.be/G5vvPX7PtmM?si=vU0OcLrAuRCFRQES

https://blog.det.life/the-data-lake-warehouse-and-lakehouse-b46e9aac8634

https://vutr.substack.com/p/i-spent-8-hours-learning-apache-iceberg

https://vutr.substack.com/p/i-spent-7-hours-diving-deep-into

Iceberg 같은 **오픈 테이블 포맷(Open Table Format)**이 등장한 이유와 그 필요성을 정리한 내용입니다.

open table format: a way to organize data files and bring database-like features to a data lake.

1. 데이터 레이크 아키텍처 트렌드

• 과거에는 정형 데이터를 RDB 혹은 EDW(Enterprise Data Warehouse)에 적재해 구조화된 쿼리(SQL)를 수행하는 방식이 일반적이었습니다.
• 그러나 최근에는 로그, 반정형·비정형 데이터(예: JSON, CSV, 이벤트 스트림, 이미지 등)를 대규모로 수집·분석하는 시나리오가 늘어나면서 데이터 레이크(Data Lake) 아키텍처가 부상했습니다.
• 데이터 레이크는 HDFS나 S3 같은 오브젝트 스토리지에 대규모 데이터를 파일(Parquet, ORC, Avro 등) 형태로 보관하고, Apache Spark, Hive, Presto, Flink 등 다양한 엔진으로 분석하는 구조입니다.

문제는, 오브젝트 스토리지에 직접 파일로만 저장하면 테이블 구조와 트랜잭션(ACID) 보장이 부족하다는 것입니다. 여전히 “파일 단위”로만 다뤄야 하므로, 스키마 관리·스냅샷·증분 업데이트 등에 대한 체계가 부족합니다.

2. 오픈 테이블 포맷이 해결하는 문제