A/B testing - Day 1

<aside> 💡

A/B 테스트란?

정의: 두 가지 버전(Control vs Treatment)을 무작위로 노출해 단일 지표(Metric) 기준으로 성과 차이를 검증하는 실험
목적: 직감이 아니라 데이터 기반 의사결정으로 제품/서비스 변경의 효과를 판단

✅ 왜 중요한가 (비즈니스 관점)

제품 개선 효과 측정: UX 변경, 알고리즘, 버튼/문구/색상 등 변경안이 KPI에 미치는 영향 확인
최적화: 가장 효과적인 변경안을 선택해 고객 만족·매출 개선으로 연결
가설 검증: “이 변화가 성과를 올릴까?”를 실험으로 검증하며 고객 행동 요인 이해
산업 활용 범위 넓음: e-commerce, 디지털 마케팅, 웹사이트 최적화 등에서 표준처럼 사용 </aside>

<aside> 💡

A/B 테스트 전체 프로세스 (5-Step)

1) 가설 설정 (Hypothesis)

비즈니스 가설: 무엇을 바꿀 것이고, 어떤 KPI를 어떻게 개선할 것인가
통계 가설: H0/H1 형태로 “차이가 없다 vs 차이가 있다(또는 더 크다)”를 명시

2) 실험 설계 & 파워 분석 (Design / Power Analysis)

실험이 “검출 가능한” 구조인지 사전에 설계
필수 파라미터:
- α (유의수준): 거짓 양성(Type I error) 허용 확률 (보통 0.05)
- Power = 1-β: 진짜 효과를 놓치지 않을 확률 (보통 0.80)
- MDE(Δ): 비즈니스적으로 “이 정도면 출시할 만하다”라고 보는 최소 효과 크기

3) 실험 실행 (Run)

실무적으로는 엔지니어/PM과 협업해 실험이 제대로 랜덤 분배되고 데이터가 정상 수집되는지 관리

4) 통계 검정 선택 (Test Selection)

데이터/지표 형태에 맞춰 z-test / t-test / χ²-test 등 적합한 검정 선택

5) 결과 해석 (Result Interpretation)

통계적 유의성(p-value) 뿐 아니라 **실무적 유의성(Practical significance)**까지 판단
신뢰구간, 표준오차, 분산(풀드 분산), 일반화 가능성/재현성까지 함께 체크

</aside>

<aside> 💡

Step 1: 가설 & 지표(Primary Metric) 설계 핵심

🧩 비즈니스 가설 (Business Hypothesis)

“어떤 문제를 해결하기 위해 어떤 변경을 하며 KPI가 어떻게 변할 것인가”
보통 **제품팀 + 데이터팀 협업(브레인스토밍)**으로 설정
예시: “버튼 색을 파랑→초록으로 바꾸면 CTR이 증가할 것이다”

📌 Primary Metric (핵심 지표) 원칙

원칙 1) Primary metric은 1개만
- 지표가 여러 개면 우연히 유의해지는(false positive) 위험이 커짐
원칙 2) Metric Validity 질문으로 검증
- “이 지표만 크게 증가하고 나머지는 그대로라면, 정말 목표 달성인가?”
원칙 3) 다른 지표는 ‘모니터링’만
- Primary metric 외 지표는 참고로 관찰하되, 결론의 기준은 단일 지표로 유지

📊 대표 지표 예시 (스크립트에서 다룬 것)

1) Conversion Rate (전환율)

정의: 방문자 중 원하는 행동(구매/가입/폼 제출 등)을 한 비율
공식: 전환율 = (Conversions / Total Visitors) × 100%
의미: 구매/가입 등 “비즈니스 성과”를 직접 측정할 때 적합

2) CTR (Click Through Rate)

정의: 노출된 것(Impressions) 중 클릭이 발생한 비율
공식: CTR = (Clicks / Impressions) × 100%
의미: 콘텐츠/광고/추천/검색 등 참여(engagement) 평가에 자주 사용
주의: CTR과 “click-through probability”는 개념이 다를 수 있음(혼동 주의)

🧾 통계 가설 (Statistical Hypothesis)

H0(귀무): 차이가 없다 (예: CTR_blue = CTR_green)
H1(대립): 차이가 있다 / 더 크다 (예: CTR_green > CTR_blue)
결론은 “H0를 기각할 수 있는가”로 판단

③ Step 2: 실험 설계(Design) — 파워 분석 & 표본수 & 기간

🔋 파워 분석(Power Analysis) 3요소

Power(1-β): H0가 거짓일 때 올바르게 기각할 확률 (관행적으로 80%)
α(유의수준): H0가 참인데도 기각해버리는 확률 (관행적으로 5%)
MDE(Δ): 비즈니스가 의미 있다고 보는 최소 효과 크기 (제품/상황별로 다름)

핵심: 통계적으로 “유의”해도 비즈니스적으로 의미 없을 수 있음 → Δ를 명시해야 함

👥 표본수(Sample Size) 결정

표본수는 α, β, Δ 뿐 아니라 지표의 분산(variance), 지표 형태(이진/평균/비율)에 따라 달라짐
실무에서는 계산기/라이브러리를 쓰는 경우가 많지만,
- “유의수준(α) vs 신뢰수준(1-α)” 혼동은 큰 사고 포인트
- 예: 계산기에 “95% significance”처럼 써 있으면 실제로는 **confidence(95%)**일 수 있음 → α=5% 의미

⏱️ 테스트 기간(Duration) 결정

기본 접근: 기간 ≈ 필요 표본수 n / 일 방문자 수
하지만 단순 공식만으로는 부족 (사업 이벤트/계절성/트래픽 변동 고려 필요)

🚫 실무에서 피해야 할 것: P-hacking

“유의해지는 순간 실험 종료”는 결과를 왜곡
사전에 기간/표본수 확정하고 그 기준을 지키는 게 원칙

⚠️ 기간이 너무 짧으면: Novelty Effect(신규 효과)

사용자들이 변화 자체에 일시적으로 긍정 반응 → 착시 발생
외부 타당도(실제 적용 시 지속될지) 위협

⚠️ 기간이 너무 길면: Maturation Effect(성숙/외부 변화)

시간이 길어질수록 외부 요인(시즌, 이벤트, 시장 상황)이 개입해 결과 오염 가능성 증가 </aside>

<aside> 💡

📊 A/B Testing: 2-sample Z-test 실전 분석 요약

데이터 생성 및 구조: 클릭 여부(0/1)를 따르는 이항분포에서 Control(p=0.2), Experimental(p=0.5)로 각각 10,000개씩 샘플 생성하며, 실제 A/B 테스트 결과처럼 click, group 컬럼을 가진 형태의 데이터를 가정함.
기본 집계와 CTR 추정: groupby 후 click을 sum(이진변수라 클릭 수 집계)하여 각 그룹의 클릭 수를 구하고, 이를 표본 수로 나눠 p^controlp^control, p^expp^exp (CTR 추정치)를 계산함.
Z-test 통계량 계산 흐름:
통계적 유의성 판단: 유의수준 α=0.05 설정 후, norm.ppf(1 - α/2)로 Z-critical 계산, norm.sf(|Z|) * 2로 p-value 산출. p-value < α 이면 귀무가설 기각 → 통계적으로 유의한 차이 존재.
신뢰구간과 실무적 유의성(Practical Significance): </aside>

<aside> 💡

</aside>

✅ 한 장 요약 (실무 적용 체크리스트)

(가설) 비즈니스 가설 + H0/H1을 명확히 썼는가
(지표) Primary metric은 1개이며, metric validity 질문을 통과했는가
(설계) α, power, MDE(Δ)를 사전에 합의했는가
(표본/기간) 표본수·기간을 사전 확정했고 p-hacking 방지 원칙이 있는가
(해석) p-value + 실무적 유의성 + 신뢰구간/재현성까지 함께 판단하는가
코드