1. EDA 의 개념은 무엇인가?

1) EDA 란?

EDA는 Exploratory Data Analysis의 약어로 탐색적 데이터 분석을 말한다. 데이터를 다양한 각도에서 관찰하고 이해하는 모든 과정을 말한다. 데이터 분석의 초기 분석 단계이며, 데이터를 분석하고 결과를 내는 과정에 있어 지속적으로 해당 데이터에 대한 **“탐색과 이해”**를 기본으로 가져가야 하기에 중요하다.

2) EDA 의 목적

• 데이터 이해 : 데이터를 탐색하고 시각화함으로써 데이터셋의 전반적인 구조를 이해
• 결측치/이상치 탐지 : 데이터를 분석하여 이상치(Outliers)나 결측치를 식별
• 변수 간 관계 분석 : 변수들 간의 상관관계 및 패턴을 파악하여 잠재적인 인사이트를 도츨

2. EDA 는 무엇을 하는 것인가?

1) EDA는 무엇을 하는 과정인가?

<aside> 💡

EDA 과정에 대한 주요 정의들

</aside>

• John W. Tukey:

  “EDA는 데이터를 요약하고, 시각화하며, 가설을 세우고 점검함으로써 데이터를 깊이 이해하는 과정이다.” → 모델이나 가설을 바로 세우는 게 아니라, 데이터 스스로가 말하게 하는 과정.

• IBM Analytics:

  “EDA는 데이터의 주요 특징을 이해하기 위해 통계 요약과 시각화를 활용하는 초기 분석 단계이다.”

  → 데이터 전처리와 모델링 사이의 필수 다리 역할.

2) EDA 과정에 대한 공통된 핵심

<aside> 💡

고객 거래 데이터(예: 이커머스 구매 데이터)

• 탐색: 데이터의 패턴, 트렌드, 이상치, 결측을 발견 (데이터에는 문제가 없는지, head나 tail 부분을 확인하거나, 이상치/결측치 등을 확인하는 과정)
  • head()로 고객 거래 데이터 앞부분을 확인해보니 거래금액이 0원인 행이 다수 발견됨 → 데이터 입력 오류 가능성 있음.
  • describe()로 살펴본 결과 고객 나이(age)가 150세로 기록된 값 발견 → 이상치 처리 필요.
• 요약: 통계적 요약으로 데이터의 특성 이해
  • 거래 데이터에서 평균 구매금액이 52,000원, 중앙값이 30,000원, 표준편차가 45,000원 → 일부 고액 거래가 평균을 끌어올리고 있음을 시사.
  • 결측치 비율: 고객 이메일 컬럼의 결측치가 18% → 처리 전략 필요.
• 시각화: 그래프와 플롯으로 직관적 이해
  • 히스토그램으로 거래금액 분포를 그려보니 대부분 10만 원 이하에 집중, 소수의 초고액 거래가 긴 꼬리를 형성(long tail).
  • 박스플롯으로 지역별 구매금액을 비교하니 서울 지역의 분산과 중앙값이 가장 높음.
• 질문 생성: 이후 분석/모델링을 위한 가설 및 방향 제시
  • “고액 거래 고객이 특정 연령대나 지역에 집중돼 있는가?”
  • “결측치가 많은 이메일 정보가 고객 충성도(재구매율)와 연관이 있는가?”
  • “이상 거래(고액/빈번 거래)가 사기 탐지 모델과 어떤 상관성이 있는가?”