<aside> 💡
| 항목 | 내용 |
|---|---|
| A/B Test 목적 | 샘플링된 집단(A/B)을 비교해 **모집단에 대한 결론(가설 검정)**을 내리는 것 |
| 왜 샘플인가 | 현실적으로 시간·비용·리스크 때문에 전체 유저(모집단) 대신 일부(표본)를 사용 |
⇒ A/B 테스트는 “전체 유저를 전수 비교”가 아니라, 표본으로 모집단 결론을 추론하는 구조임
| 구분 | 정의 | 특징 |
|---|---|---|
| 확률표본추출 | 각 개체가 뽑힐 확률이 동일(또는 설계에 따라 정의됨) | 통계적 추론에 유리 |
| 비확률표본추출 | 각 개체의 선정 확률이 동일하지 않음 | 편향 위험↑, 일반화 어려움 |
| 방식 | 한 줄 정의 | 실무에서 쓰는 이유/포인트 |
|---|---|---|
| 단순 임의추출 (Simple Random) | 모든 개체가 동일 확률로 랜덤 추출 | 가장 기본, 구현 쉬움 |
| 층화 임의추출 (Stratified) | 집단을 층(그룹)으로 나누고 각 층에서 랜덤 추출 | 집단 내 동질 / 집단 간 이질일 때 대표성↑ |
| 체계적추출 (Systematic) | 임의 시작점 후 k 간격으로 규칙 추출 | 대량 데이터에서 효율적(단, 주기성 있으면 위험) |
| 집락추출 (Cluster) | 집단(클러스터)을 뽑고, 그 집단 전체를 표본으로 | 운영/비용 효율(단, 분산↑ 가능) |
| 방식 | 정의 | 리스크 |
|---|---|---|
| 편의표본(Convenience) | 뽑기 쉬운 대상만 추출 | 편향 매우 큼 |
| 판단표본(Purposive) | 연구자가 “대표일 것”이라 판단해 선정 | 주관 개입 위험 |
| 할당표본(Quota) | 비율(예: 20대 10명, 30대 10명)을 맞춰 선정 | “비율만” 맞고 랜덤성 부족 가능 |
| 개념 | 정의(슬라이드 핵심 문장 기준) |
|---|---|
| P-Value | 귀무가설이 맞다고 가정할 때, 관찰된(또는 더 극단적인) 결과가 나올 확률 |
→ 표본 수와 상관없는 확률을 말하며, 어떤 사건이 우연히 발생할 확률
단순 평균 비교(예: A=20,000원, B=21,000원)만으로는 우연인지 실제 효과인지 구분 불가
→ 표본 변동성을 함께 고려하는 **통계적 검증(t-test)** 이 필요
“얼마나 차이가 큰가”는 검정 통계량(t-value) 로 표현되며, 이 값은 평균 차이 / 표준오차 형태이기 때문에, 같은 차이라도 표본수가 커질수록 t-value는 커지고 분포는 더 날카로워짐
P-value는 이렇게 계산된 t-value가 귀무가설 하에서 얼마나 드문 값인지를 확률로 환산한 지표로, 관측된 차이가 우연으로 보기 어려운 수준인지를 판단하게 해줌
| 개념 | 정의/의미 |
|---|---|
| 신뢰구간(95% CI) | “모집단의 진짜 평균”이 포함될 가능성이 높은 추정 구간 |
| SEM | 표본평균의 표준오차, σ / √n 형태로 제시됨 |
⇒ 실무에서는 p-value만 보지 말고, **신뢰구간 폭(불확실성)**으로 “추정이 얼마나 안정적인지”를 같이 확인하는 게 핵심
| 항목 | 핵심 |
|---|---|
| 목적 | A/B 두 집단의 평균 차이가 우연인지 검정 |
| t 통계량 | (두 평균 차이) / (두 평균 차이에 대한 불확실성) |
| 불확실성(분모) | 두 집단 분산과 표본수(n1,n2)에 의해 결정 |
⇒ t-test는 “평균 차이” 자체보다, 그 차이가 표본 변동성 대비 충분히 큰지를 보는 구조
| 언제 쓰나 | 예시 |
|---|---|
| 결과가 범주형(특히 0/1)일 때 | 클릭 유무, 구매 유무, 전환 유무 |
→ 계산하려면 Expected(기대값) 표 만들어야
| --- | --- |
⇒ 평균(연속형)은 t-test, 전환/클릭(범주형)은 카이제곱 검정이 기본 축
| --- | --- |
⇒ 단측검정은 “원하는 방향만” 보는 만큼, 사전 정의(실험 전 합의)가 없으면 해석 논란이 커질 수 있음
</aside>
<aside> 💡
</aside>