[TIL-260327] 멋쟁이사자처럼 부트캠프 그로스마케팅 4기 - 통계분석 기초 day13

▼오늘 배운 사항들
1. AB TEST
- 개념 및 툴
- 핵심 용어
- 설계 방법
2. EDA
- 정의 및 프로세스
- 데이터 타입 분류법
- 실무 활용법
[실습]AB TEST 실험 설계서 및 결과 리포트 작성
[실습]EDA 데이터 탐색 실습
[실습]통계적 의사결정 실습

 

Part 1. AB TEST

[AB Test]

• 두 가지 버전(A안/B안) 중 어느 것이 더 나은 성과를 내는지 통계적으로 증명하는 비교 실험
• 통계적 유의성 검증 : 무료 통계 계산기로 검증 꼭
• Tool : VWO, statsig, Meta A/B, GA4(UTM) 등
• 핵심용어 
  - 대조군 : 기존 버전으로 모든 비교의 기준점
  - 실험군 : 우리가 가설을 갖고 변경한 버전
• GA4 UTM을 사용한 AB Test 설계 방법
  - utm_content 파라미터를 version a, version b로 다르게 설정

[AB Test 실험 설계]

• p- value : 통계적 유의성 - 통계적으로 유의미함 (p < 0.05)
• 신뢰구간 : 테스트 또 해도 이 범위에 들어올거란 확신 영역

[실습]AB TEST 실험 설계서 및 결과 리포트 작성

• 가설 수립 후 , ICE coring으로 가장 높은 가설로 AB test 설계서 작성
• test 결과 수치를 보고 해석하는 게 너무 어려웠다

---

Part 2. EDA - 탐색적 데이터 분석

[세컨드펭귄 ] → 인사이트 기반의 내용들 多

• 문제정의의 중요성
  - 문제 정의 역량은 가장 먼저 우선시되어야 하는 역량
  - 문제를 잘못 정의하면 나머지 과정이 모두 무의미해지고 헛된 자원과 비용을 낭비하게 됨
• 쿠폰의 악순환 사례 : 매출개선을 위해 할인만 한다면?
  무신사가 쿠폰을 주긴하지만, 소비자가 다운로드 클릭해야만 쿠폰 등록가능(언제까지 사용가능한)
  = 그냥 지급되는게 아닌 쿠폰의 가치를 높이는 액션
  - 1. 판매자의 쿠폰 등록 
  - 2. 판매자의 쿠폰 발급 수 
  - 3. 구매자의 쿠폰 사용 : “받은”쿠폰을 많이 사용하도록 하자
  ▶ 할인을 기획하는 단계에서, ‘사용자에게 명분을 주는 것’이 중요
  ▶ 판매자 입장에서 ‘사용자가 그 명분을 충분히 인지하도록 만드는 것’이 중요 (써야만하는 가치! 가치!)
  [쿠폰을 안쓴다 혹은 쿠폰만 쓴다 → 쿠폰을 없앤다]는 그로스마케터에 없는 사고흐름

[EDA 정의 = 마케팅 구조 데이터 파악]

• 데이터 판단 전, 이상치&구조&평균기준 분포도와 같은 특성 파악하는 과정
• 데이터 구조를 모르면 잘못된 지표를 만든다

[EDA 6단계 프로세스]

• step2 : 데이터 타입 분류 = 측정기준과 측정항목들 분류(퍼센티지, 숫자 등)

출처 : 나 (노바나나)

 

[실습]EDA 데이터 탐색 실습

• 이..렇게 하는게 맞나? 뭘해야하지 방황하고 그냥 끄적인 다음에😭, 강사님 해설을 들으니 아 이렇게 보는 거구나 했다
• 팀원들의 분석들을 보면서 깨달은 점이 컸다. 수치를 보고 논리적으로 추론하는 게 부러웠다.

주어진 샘플데이터를 피봇테이블 만들어서 읽어보기..

---

[EDA 데이터 종류]

 

• 의심 : 데이터가 수집이 잘 되었는지 의심하라!
  (예시) ▶ 메타픽셀 html track을 '입력폼 제출완료'로 설정 해놓고, 트리거는 '가이드받기버튼클릭'해버림
  = 메타픽셀에서 입력폼 제출완료로 데이터가 수집됨
  = 실제 데이터는 가이드 버튼 받기 클릭
  (예시) ▶GA4 이벤트도 동일
  - 타이머 10s 이벤트 설치, 간격을 1만밀리초 해뒀는데 이름을 60s해버릴수도
• 실무 tip
  - 명칭은 다른데 수집된 데이터 수치는 똑같다? = 트리거 확인해보기
  - 보여지는 데이터를 있는 그대로 믿어서는 안된다|
  - 세팅값을 직접 보지 않으면, 믿지 않는 편이 좋다

[실습]통계적 의사결정 실습

• 이상패턴 2가지 찾고, 패턴 기반으로 가설 2개 수립하기
• 한 눈에 보이는 social mobile 튄 값으로 이상 패턴 1개 정리하고 나니, '숫자는 숫자요 영어는 영어구나' 이렇게만 보였다
• 그래도 1개 더 찾아야하니 채널별 특징을 생각하다가, 내가 사고 싶은 상품은 내가 아는 키워드로 검색하면 안나오던 테무가 생각이 났다. 키워드와 상품의 불일치가 떠오른 건데, 주어진 데이터 상에서 유료검색보다 오가닉 채널의 방문자수가 높은 걸 보면 검색으로 들어오는 수치는 나쁘진 않고 전환률은 낮은걸 보아 검색키워드가 자사 상품과 얼라인 되지 않을 수 있다고 생각해봤다.
  즉, 검색으로 들어오는 자연유입의 키워드와 유료광고의 키워드 차이가 전환율의 변화를 만들 것 같았다.

 

 

내재화...어떻게 하지..