• 타이타닉 3일차 이어서

특성 중요도(Feature Importance)

모델에서 각 특성(변수)이 예측이나 분류에 얼마나 영향을 미치는지 나타내는 지표입니다

수치 범위

• 0에서 1 사이의 값을 가집니다
• 모든 특성들의 중요도 합은 1입니다

의사결정 트리에서의 활용

• 중요도가 높은 특성이 트리의 상위 노드(root node)에 배치됩니다
• 불순도가 낮아지는 방향으로 학습이 진행되므로, 중요도가 높은 특성을 우선적으로 고려합니다

장점

• 어떤 특징이 분류나 예측에 더 중요한지 명확하게 파악할 수 있습니다
• 의사결정 과정을 직관적으로 이해하고 해석할 수 있습니다

이를 통해 데이터 분석가는 모델의 예측에 가장 큰 영향을 미치는 변수들을 식별하고, 모델 개선이나 특성 선택에 활용할 수 있다.

앙상블(Ensemble) 학습이란

여러 개의 머신러닝 모델을 조합하여 더 좋은 성능을 내는 기법입니다

• 보팅(Voting)
  • ***여러 모델(다른 종료의 모델)***의 예측 결과를 투표 방식으로 결합
  • 분류의 경우 다수결, 회귀의 경우 평균값 사용
  • 하드 보팅: 다수결
  • 소프트 보팅: 각 확률의 평균
  • 일반적으로 하드 보팅이 소프트보다 보팅이 예측성능이 상대적으로 우수
• 배깅(Bagging)

  • Bootstrap Aggregating의 줄임말

  • 여러 개의 같은 종류 모델이 예측한 결과를 투표 혹은 평균을 통해 최종 선정

  • 데이터를 무작위로 여러 번 샘플링하여 각각 모델 학습

  • 대표적 예: 랜덤 포레스트

    <aside>

    • 배깅 기반 앙상블

      • 여러 개의 의사결정 트리를 생성하여 결과를 집계
      • 각 트리는 부트스트랩 샘플링된 데이터로 학습

    • 특성 무작위 선택

      • 각 노드에서 전체 특성 중 일부만 무작위로 선택하여 분할
      • 이를 통해 트리 간의 다양성 확보

    ---

    • 장점

      • 과적합 위험이 낮음
      • 안정적인 성능
      • 특성 중요도 측정 가능
      • 병렬 처리 가능
      • 중첩을 허용

    • 단점

      • 해석의 복잡성
        • 여러 의사결정 트리가 결합되어 있어 개별 예측 과정을 추적하기 어려움
      • 계산 비용
        • 많은 트리를 생성하고 학습해야 하므로 학습 시간이 오래 걸림
      • 예측 시간
      • 연속적인 값 예측의 한계

    • 활용

      • 분류와 회귀 문제 모두에 사용 가능
      • 대용량 데이터 처리에 효과적
      • 결측치에 강건함 </aside>

  • 예시 코드

• 부스팅(Boosting)

  • ***이전 모델(같은 종류 모델이)***이 잘못 예측한 데이터에 가중치를 두어 순차적으로 학습,예측한다

  • 약한 학습기들을 결합하여 강한 학습기를 만듦

  • 대표적 예: XGBoost, LightGBM, AdaBoost

    <aside>

    1️⃣ XGBoost (eXtreme Gradient Boosting)

    학습률이 높을수록 오차률 보정

    • 장점:
      • 높은 성능과 빠른 실행 속도
      • 과적합 방지를 위한 정규화 기능 내장
      • 결측치 자동 처리
      • Early Stopping 제공
    • 단점:
      • 메모리 사용량이 많음
      • 파라미터 튜닝이 복잡

    2️⃣ LightGBM

    수직 방향 비대칭 트리 성장 스킴

    수평방향 깊이 다운, 대칭 보다 오류 적다

    속도와 안정성을 동시에 상승 시킨다

    • 장점:
      • XGBoost보다 더 빠른 학습 속도
      • 메모리 사용량이 적음
      • 대용량 데이터 처리에 효율적 👍
    • 단점:

    </aside>

    그레디언트 부스팅 (Gradient Boosting Machine)

    경사 하강법를 이용하여 최적의 가중치 파라미터를 찾아냄

    느리고 과대 적합문제가 발생

    • 예시 코드