[데이터 분석] A/B테스트의 설계, 수행, 해석에 관한 참고사항 4가지

저자: 플래터

그로스 PM

https://yozm.wishket.com/magazine/@platter/

요즘 사람들의 IT 매거진, 요즘IT

 

RPE-VIEW

오늘의 아티클은 'A/B테스트 제대로 이해하기: ③ A/B테스트 계산기의 세팅과 해석'입니다. A/B테스트에 관한 3번째 시간입니다. A/B테스트의 설계, 수행, 해석에 관한 참고사항 4가지에 다루고 있습니다.

 

아티클 소개

https://yozm.wishket.com/magazine/detail/1656/

A/B 테스트 제대로 이해하기: 3 A/B 테스트 계산기의 세팅과 해석 | 요즘IT

 

 

저자 정보

저자: 플래터

그로스 PM

https://yozm.wishket.com/magazine/@platter/

요즘 사람들의 IT 매거진, 요즘IT

 

 

 

핵심 내용 요약

주요 포인트

- 표면상 질문(어떤 것의 효과가 더 좋은가) 외에 위 3가지 질문을 고려하여 테스트를 진행해야 함

 

요약

1.A/B테스트를 계산하는 곳 -https://abtestguide.com/calc/

A/B-Test Calculator - Power & Significance - ABTestGuide.com

 

구글 옵티마이저

 

2.기초 통계 지식으로 계산기 세팅

Test Data:각 그룹에 모임 트래픽과 그중 원하는 결과로 최종 전환된 트래픽 입력

Setting-Hypthesis: 단측 or 양측 검정

Setting-Confidence: 신뢰 수준 설정(95%~99%)

 

3. 단측 or 양측 검정

양측 검정을 실시하는 것이 단측 검정보다 안전(보수)하다 ← 단측 검정 시 무의미한 차이가 양측 검정 시 유의미할 수 있기 땜

 

4. 결과 해석

P-value에 따라 판단

not significant = 차이가 없음 or 표본이 작아 알 수 없음

 

핵심 개념

• Test Data: 각 그룹의 표본 크기와 그룹별 최종 전환 숫자
• Setting-Hypthesis: 가설 세팅
• Setting-Confidence: 신뢰 수준 설정(%)

 

관련 사례

https://brunch.co.kr/@dmone/56

엄마가 좋아, 아빠가 좋아? 국내·외 AB테스트 사례