<aside> 💡

생소한 단어

<aside> 📊

1. 데이터셋

• 출처: Criteo AI Lab, Incrementality Test 기반 RCT 데이터
• 규모: 약 1,300만 행, 사용자 단위
• 구성: 12 features + treatment + visit + conversion + exposure
• 특징: 심한 불균형 (Treatment 약 85%, Control 약 15%) </aside>

<aside> 💡

2. EDA - Treatment 효과 (Visit & Conversion에 대한)

• 방문률: Treatment 4.9% vs Control 3.8% → ATE ≈ +1%
• 전환율: Treatment 0.31% vs Control 0.19%
• 통계적 유의성 검정: 방문/전환 모두 p-value < 0.05 → 효과는 유의미

****※ ****단, exposure(실제 노출) 여부가 성과에 큰 영향 가능성 확인

→ 처치 그룹 중 실제 노출(exposure) 비율은 3.6% (약 28명 중 1명)

→ 노출된 사용자 방문율: 41%, 노출되지 않은 사용자: 3.5%

→ 노출된 사용자 전환율: 5.3%, 노출되지 않은 사용자: 0.12%

→ 처치 그룹이지만 노출되지 않은 경우, 방문율과 전환율이 treatment 0인 경우보다 오히려 감소함

• 코드

<결과>

</aside>

<aside> 💡

3. Resampling (불균형 처리)

• 데이터가 Treatment(1)에 쏠림 → 많은 업리프트 모델 가정 위배
• 대응: 학습 데이터에 한해 언더샘플링 / 가중치 조정
• 주의:
  • 리샘플링은 정보 손실 가능
  • 하지만 데이터 규모(13M)가 커서 유의미한 학습 가능
• 원칙: 리샘플링은 Train만, Test는 실제 분포 유지

• 코드

<결과>

</aside>

<aside> 💡

4. 모델: LGWUM (Kane et al., 2014)

• 방식: Class Variable Transformation 기반 Uplift 모델

• 핵심 아이디어

  Uplift_LGWUM = P(TR)/P(T) + P(CN)/P(C) - P(TN)/P(T) - P(CR)/P(C)

• 의미: 반응해야 할 집단은 +, 피해야 할 집단은 – 해서 순수 증분 효과 추정

• 코드

<aside> 💡

1. treatment와 visit 조합으로 데이터를 CN/CR/TN/TR 4개 클래스로 라벨링함
2. XGBoost로 각 클래스에 속할 확률을 예측하고, 이를 이용해 uplift_score를 계산함
3. 테스트 데이터에 대해 uplift 점수와 실제 클래스를 포함한 결과를 생성함 </aside>

</aside>

<aside> 💡

5. 모델 평가 방법 (Qini Curve)

• 일반 ROC AUC와 달리:
  • 개인별로 처치/비처치 결과를 동시에 볼 수 없음 → 평가가 더 복잡
• Qini Curve
  • 업리프트 점수 순으로 타겟팅할 때 누적 증분 성과를 시각화
  • 대각선(랜덤) 대비 더 벌어질수록 좋은 모델
• Qini AUC: 클수록 성능 우수
• 비교를 위해 0~1 정규화 필요

</aside>

<aside> 💡

6. Uplift 분포 결과 해석 및 모델 평가 결과(Treatment - visit)

• 대부분 양(+)의 uplift → 처치는 평균적으로 방문 증가
• 일부 음(-) uplift → Sleeping Dogs (처치가 역효과)
• 원인: 실제 노출되지 않은 사용자일 가능성 큼 (이전 분석과 일치)
• 전체 타겟팅할 경우: +30,000 방문 (최대 효과)
• 상위 20%만 타겟팅: +26,000 방문 → 최대의 86% 달성
• 의미: 소수 타겟팅으로 대부분의 성과 확보 가능

</aside>

<aside> 💡

</aside>

<aside> 💡

</aside>