<aside> ✅

개요

</aside>

1. AB 테스트는 평균 효과만 보여 개인별 타겟팅이 불가능 → 업리프팅과 비교했을 때 AB 타게팅의 단점

AB 테스트는 광고 노출 그룹과 미노출 그룹 간의 전체 평균 전환율 차이를 통해 캠페인의 효과를 판단하는 방식이다. 이 평균 전환율 차이는 모든 고객의 반응을 하나로 합산한 값이기 때문에, 광고로 인해 행동이 바뀐 고객과 원래 구매할 예정이었던 고객을 구분하지 못한다. 그 결과 평균적으로는 효과가 있는 것처럼 보이더라도, 실제로는 이미 구매할 고객이나 반응하지 않을 고객에게 광고 예산이 투입될 수 있다. 또한 개인별 반응의 이질성을 반영하지 못해 고객 수준에서의 정밀한 타겟팅이 불가능하다. 반면 업리프트 모델은 고객별로 광고 노출과 미노출 간 전환 확률의 차이를 추정함으로써, 광고가 실제로 행동을 변화시킨 고객을 식별하고 보다 효율적인 예산 집행을 가능하게 한다.

2. 4유형으로 나눌 때 0이상이면 persuadable로 바꾸는 건 이해, 그런데 sure thing, do not disturb는 어떻게 구별?

먼저 볼 것 의미
업리프트 > 0 광고가 도움이 됨 → Persuadable 후보
업리프트 < 0 광고가 해로움 → Do Not Disturb
업리프트 ≈ 0 + 원래 살 확률 높음 Sure Thing
업리프트 ≈ 0 + 원래 살 확률 낮음 Lost Cause
def classify_uplift(row):
    uplift = row['uplift_score']
    p_ctrl = row['proba_ctrl']

    if uplift > uplift_pos_th:
        return 'Persuadable'

    elif uplift < uplift_neg_th:
        return 'Do Not Disturb'

    else:
        if p_ctrl >= high_prob_th:
            return 'Sure Thing'
        elif p_ctrl <= low_prob_th:
            return 'Lost Cause'
        else:
            return 'Neutral'

3. 여기서 말하는 클릭 컬럼은 뭘 의미? 뭘 클릭했다는 거?

click은 광고 노출 이후에 발생하는 중간 단계 행동 지표로, 사용자가 광고를 보고 실제로 반응했는지를 나타내며 전환 이전에 위치하는 **과정 변수(mediator)**다. 광고 캠페인은 일반적으로 광고 노출 → 클릭 → 전환의 흐름을 가지며, 이때 treatment는 광고 노출 여부, click은 광고에 대한 즉각적인 반응, purchased는 최종 전환을 의미한다. 클릭률을 분석하면 광고 크리에이티브나 메시지가 얼마나 즉각적인 관심을 유도했는지 파악할 수 있고, 전환까지는 이어지지 않았지만 반응을 보인 고객군을 식별할 수 있다는 장점이 있다. 그러나 click은 광고 노출의 결과로 발생하는 변수이기 때문에 업리프트 모델의 설명 변수로 사용하면 이미 처치의 결과를 알고 예측하는 셈이 되어 데이터 누수 문제가 발생한다. 따라서 click은 업리프트 모델링에서는 제외하고, 퍼널 분석이나 해석용 지표로만 활용하는 것이 적절하다.

4. 여기서 전환율이 제일 높은 60-69를 타겟팅하는 게 맞나?

60–69세 연령대는 광고 노출로 인한 전환율 증가폭이 가장 커 순수한 광고 효과는 가장 크게 나타난다. 그러나 타겟팅은 전환율 차이뿐 아니라 고객 규모, 전환당 가치(LTV), 광고 비용을 함께 고려해야 한다. 고객 수가 적거나 비용이 높다면 업리프트가 커도 총 성과는 제한될 수 있다. 따라서 60–69세만 단독으로 타겟하기보다는 업리프트가 안정적으로 높은 40–69세 연령대를 중심으로 전략을 설계하는 것이 합리적이다. 최종적으로는 연령대별 업리프트와 규모를 결합해 ROI가 최대가 되는 구간을 선택하는 것이 바람직하다.

image.png

4. 업리프트 모델의 성과지표 설명

지표 설명
Qini Curve 업리프트 모델의 실제 성과 곡선
Uplift Decile Analysis 업리프트 점수 기반 고객 분할 후 전환율 비교
ROI 시뮬레이션 광고 타겟 대상에 따른 수익/비용 시뮬레이션