개요

• 가상 서비스의 앱 로그를 분석하여 문제를 발견하고 원인에 대한 가설을 제안합니다.
• 서비스 방문 유저 수와 일별 결제자 수의 증가세가 감소하여 원인을 분석하고 해결방안을 모색합니다.
  • 서비스에서 리텐션 사용자 유입의 증가가 결제 수 증가로 이어질 수 있음을 과거 사례에서 확인함.
    • 10월 이후의 전반적인 전환율 증가는 앱 업데이트이 원인일 가능성이 높아 연관성에 대한 확인이 먼저 필요합니다.
  • 리텐션 사용자를 그룹화하여 리텐션 액션을 먼저 시도할 그룹을 특정함.
• 리텐션 사용자 그룹 간 행동 패턴의 차이를 확인하기 어려워, 최근 8주 이내 결제 기록이 있으나 최근 4주 이내 결제 기록이 없는 사용자를 대상으로 유입을 늘리기 위한 액션 수행할 수 있습니다.

배경

• 현재 (2023. 01.21) 기준
• 음식 배달 서비스 (푸디 익스프레스)
• 6개월간 앱로그
• 핵심 이벤트는 결제 (”click_payment”)

현황 파악

1. 1일 방문 유저 수
   • 10월 초 이후 증가세 둔화

1. 일별 결제 전환 사용자 수 (일별 “click_payment” 수행한 user_pseudo_id 수)
   • 6주차에 50명, 10주차에 100명 달성 이후 4개월간 평균 70명대 유지 중
   • 결제 전환 사용자 증가세 감소 원인 분석 필요

1. 퍼널 (이상치 제외 - 공휴일 : 8/15, 9/9, 9/10, 9/11, 9/12, 10/3, 10/9, 10/10, 12/25, 1/1)
   • QUERY
   • 전환율 자체는 급증하던 시기보다 늘어났다.
     • 한번 들어와서 결제로 넘어가는 사람의 비율은 늘어났다.
     • 전반적인 전환율이 좋아져서 결제 인원도 증가하였다.

4개월동안 유지되고 있는 전환율

가설 수립

각 원인은 상관관계가 있을 수 있음. 로그만으로 검증해볼 수 있는 원인을 먼저 검증해본다.

• 전환율 개선/유지 예상 원인
  • 전반적인 UX/UI 개선
  • 앱 성능 개선
  • 효과적인 타겟 마케팅 / 프로모션
  • 리텐션 사용자 비중 증가
  • 계절적 요인
• 사용자 세그먼트 원인 가설
  • 가설 : 리텐션 사용자 비중 증가로 전환율이 개선되었다.
    • 전환율 개선에 얼마나 영향을 주었는지 확인 필요
  • 가설의 한계
    • 과거 원인 분석과 미래 액션 계획을 직접 연결하고자 함
    • 여전히 리텐션 사용자는 예측할 수 있고, 유입에 드는 비용이 적다는 점에서 늘릴 근거는 충분함
  • click_payment를 증가시키기 위한 액션
    • 결제 전환율이 높은 리텐션 사용자의 유입을 늘리면 결제 전환 횟수도 증가한다.

가설 검증 : 리텐션 사용자 비율 증가로 전환율이 개선되었다.

1. 용어 정의

   1. 리텐션 사용자 : 이전 기간에 최초 결제 후 해당 기간에 결제 기록이 있는 사용자
   2. 신규 사용자 : 해당 기간에 최초로 결제한 사용자

2. 리텐션 현황 파악

   1. 특정 구간 이후에 리텐션이 증가하였는지 확인하고자 함

   2. 주 단위 코호트별 리텐션

      최초 결제일이 포함되는 주를 기준으로 코호트를 구분합니다.

      • QUERY

      

3. 리텐션 사용자 비율

   주차별 결제 사용자 수 대비 리텐션 사용자 수

   • 리텐션 사용자의 비율이 증가하였다. 대체로 증가세를 보여, 앱 사용에 상대적으로 익숙한 사용자 비율의 증가로 전반적인 퍼널 전환율이 높아진 것의 근거가 될 수 있다.
   • 9월의 일시적 증가는 신규 이용자 비율의 증가 결과로 보인다.

   

4. 리텐션 사용자 비율과 전환율 증가의 관계 검증

   • 리텐션 사용자 비율과 결제 퍼널 전환율의 변화를 비교하였을 때, 두 변수 사이의 상관관계는 적을 것으로 판단됨 (휴리스틱)
     • 상관관계 없음 검증 ⇒ (피어슨 상관계수) 통계적으로 유의한 상관관계 없음
   • 리텐션 사용자 수의 증가로 절대적 결제 수가 증가
     • 상관관계 검증 ⇒ 전 구간에서 유의한 양의 상관관계를 보임
     • 신규 사용자 수 증가와 결제 수 증가의 상관관계는 있다고 보기 어려움

5. 결론

   • 리텐션 사용자 수의 증가와 결제 수가 증가는 양의 상관관계를 가진다
     • 즉, 리텐션 사용자 수가 많은 날에는 결제 수가 많았다.
     • 리텐션 사용자 수를 늘리면 결제 수가 늘어날 것이라는 가설을 세울 수 있다.
     • 다만, 인과관계를 보장하지는 않아 검증 필요 (외부 요인의 개입 등)

사용자 세그먼트 정의

위에서는 결제 행위 주체를 신규 사용자와 리텐션 사용자로 나누었다. 이 중에서도 어떤 집단의 유입 수를 늘려야 결제 수를 효과적으로 높일 수 있는지 확인해보기 위함.

1. 리텐션 사용자 분류 기준
   • 신규 사용자가 아닌 사용자를 분류한다.
   • 분류를 통해 알고 싶은 것 : 어떤 상태의 그룹이 액션을 했을 때 결제로 이어질 가능성이 높은가?
   • 활성사용자와 휴면 사용자로 나누어, 현재 휴면 사용자에 해당하는 사용자에게 리텐션 액션을 한다.
   • 휴면 사용자 구분 기준
   1. 결론

리텐션 액션 우선순위

어떤 집단의 유입 수를 늘려야 결제 수를 효과적으로 높일 수 있는지 확인해보기 위함.

• 집단별 사용자 수 분포 (기준 : 2023.01.21)
• 집단별 서비스 방문 일수 (기준 : 2023. 01. 21)
• 휴면/비활성 기간 그룹별 퍼널 비교
• 결론