공부기록

[DAY05] 03. 사용자 & 서비스 분석 - AB테스트

PROSC 2023. 2. 24. 17:50

http://bit.ly/3Y34pE0

패스트캠퍼스 [직장인 실무교육]

프로그래밍, 영상편집, UX/UI, 마케팅, 데이터 분석, 엑셀강의, The RED, 국비지원, 기업교육, 서비스 제공.

fastcampus.co.kr

 
03. 사용자 & 서비스 분석 - AB테스트

오늘의 공부 완료 오공완 DAY05
  • A/B테스트란
    • 전체 사용자를 대상으로 대조군, 실험군으로 나누어서 두 가지 콘텐츠를 비교하여 어떤 그룹에서 더 높은 성과를 보이는지 정략적으로 평가하는 방법 
      • 대조군(Control Group) <- 전환율 -> 실험군(Experimental Group)
        •  전환율 : 상품구매전환 증가/ 회원가입 유도 / 이벤트 참여 유도
      • A/B 테스트가 필요한 이유
        • 새로운 기획 시작 시 어떤 접근 방법이 가장 좋은 성과를 보여줄 지 확실하지 않은 상황에서, A/B테스트를 이용해 다른 접근 방법의 성과를 비교하여 서비스 반영이 필요해서
        • 뉴스레터/광고/문자메시지/웹페이지/모바일 앱을 이용하여 테스트 진행
        • 더 가치 있는 변수를 식별하여 최적의 시안을 선정하는 것
          • 사용자 환경을 개선
          • 콘텐츠를 개선
          • 전환율 증가
          • 전환가치 향상
          • 용이한 분석
          • 구매 포기율 감소
          • 매출 증가
      • A/B 테스트 진행 방법(1~6의 반복)
        1. 서비스 분석
        2. 가설수집
        3. A/B 디자인
        4. 테스트 진행
        5. 분석 및 의사결정
        6. 고객경험 개선
      • AB테스트 프로세스
        • 1단계 : 가설 설정
          • 귀무가설 : 대조 그룹(현재의 원본)과 실험 그룹(처리군) 사이에 차이가 없다는 가설
          • 대립가설 : 대조 그룹과 실험 그룹 사이에 차이가 존재한다는 가설
            • AB테스트 수행 시 주의점 : 테스트하고자 하는 요소만 변경한 채 그 이외의 다른 모든 변수는 일정하게 유지해야 함(변인통제) 
        • 2단계 : 분할 및 평가 지표 결정
        • 3단계 : 대조 그룹과 실험 그룹을 생성 
          • 표본 추출(샘플링)
            • 랜덤 샘플링 : 모집단의 각 표본이 선택될 확률은 동일하며, 랜덤 표본 추출은 표본 추출 편향을 제거하기 때문에 가설 검증에서 중요
            • AB 테스트의 결과가 표본 자체보다는 전체 모집단을 나타내기를 원하기 때문에 편향을 제거하는 것이 중요
          • 표본 크기 : 너무 적은 수의 관측치를 표본 추출할 경우, 탐지 범위 내에서 편향이 발생
        • 4단계 : AB 테스트의 집행 기간을 결정
          • 예상 기존 전환율, 탐지 희망 최소 전환 개선율, 대조군을 포함한 변형/조함의 수, 일평균 방문자 수 등의 요소를 고려하여 AB테스트에서 실제 유의성을 얻는데 필요한 시간을 계산해보면 도움이 됨 
        • 5단계 : 테스트 수행 : 실험 수행 및 데이터 수집 후, 관리 그룹과 변동 그룹의 차이가 통계적으로 유의한지 여부 확인
        • 6단계 : 결론 도출 : 유의미한 통계치를 바탕으로 변형된 요소가 대조군에 어떠한 영향을 미치는지 살펴보고 결론 도출
      • A/B테스트 사용자 그룹 분리 방법
        • 노출분산 방식 : 페이지가 보여질 때 일정 확률로 A와 B를 나눠 노출함
          • UI/UX의 A/B 테스트 진행 가정 시
            • 통계적 유의성이 높으나 사용자들에게 혼란을 줄 수 있음 -> 알고리즘 테스트에 적합 
              • 새로고침 후에 다른 결과가 노출되는 경우 혼란을 줄 수 있음
        • 사용자 분산 방식 : 사용자를 A그룹과 B그룹으로 분리하여 고정적으로 A안과 B안을 노출 
          • UI/UX의 A/B 테스트 진행 가정 시
            • UI/UX 테스트에 적합하나, 해비유저에 따라 결과값의 왜곡 가능성
        • 시간 분할 방식 : 시간대를 분할하여 A안과 B안 노출 
          • UI/UX의 A/B 테스트 진행 가정 시
            • 보안/설계 상의 문제로 분산 방식 사용이 어려울 때 활용 가능(대안)
      • A/B 테스트 결과 분석
        • Appendix : https://abtestguide.com/calc
      • A/B 테스트 사례분석
        • goodui.org
        • https://goodui.org/leaks
        • Netflix,Google,Amazon,Airbnb,Etsy,Booking 등 회사가 실제로 어떤 항목드로 A/B테스트를 진행했는지 모아 놓은 사이트

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.