[데이터 분석] A/B테스트 해석에 필요한 기초 통계 개념 5가지

RPE-VIEW

오늘의 아티클은 'A/B테스트 제대로 이해하기: ②A/B 테스트를 위한 기초 통계 이해하기'입니다. A/B테스트에 관련한 2번째 시간입니다. 이번에는 A/B테스트에를 이해하는데 필요한 기초 통계 개념에 대해 다룬다.

아티클 소개

https://yozm.wishket.com/magazine/detail/1644/

A/B 테스트 제대로 이해하기: 2A/B 테스트를 위한 기초 통계 이해하기 | 요즘IT

 

 

저자 정보

저자: 플래터

그로스 PM

https://yozm.wishket.com/magazine/@platter/

요즘 사람들의 IT 매거진, 요즘IT

 

 

핵심 내용 요약

주요 포인트

-  A/B테스트를 통해 가정한 질문을 파악하기 위해 기초 통계를 활용해야 한다

요약

1. 모집단과 표본

모집단: 현재와 미래의, 우리 서비스를 이용할 동일한 유형의 모든 고객

표본: 이번 실험 기간 동안 만날 수 있는 일부 고객

 

2. 일부를 통한 전체 추론(귀납)

충분한 숫자의 ‘일부’로 전체에 대한 추측

 

3. 귀무가설, 대립가설, 양측 검정, 단측 검정

귀무가설: 평소 상태를 가정한 가설

대립 가설: 평소 상태와 대립하는 결과를 가정한 가설

양측 검정: a, b 중 무엇이 높을/낮을지 모르지만 차이가 있음을 가정한 것을 확인

단측 검정: a가 무조건 높을/낮을 것이라고 가정한 것을 확인

 

4. 신뢰수준

우리의 추측을 상회할 수 있는 수준: 95%(일반)

점추정, 구간 추정, 표준 오차, 신뢰 구간

 

5. P-value

유의 수준: 유의미하게 차이가 있어도 봐줄 수 있는 수준

우연성을 배제하기 위해 P-value와 유의 수준을 통해 비교 및 확인하는 것이 중요

 

핵심 개념

A/B 테스트를 해석하는데 기초 통계 개념이 필요하다

 

용어 정리

• 모집단: 어떤 정보를 얻고자 하는 전체 대상 또는 전체 집합
• 표본 집단: 모집단으로 추출된 모집단의 부분 집합
• 귀무가설: 처음부터 버릴 것을 예상하는 가설(H0). 차이가 없거나 의미 있는 차이가 없는 경우
• 대립 가설: 연구자가 연구를 통해 되기는 바라는 가설(H1). 귀무가설과 반대대는 가
• 양측 검정: A와 B가 차이가 있다
• 단측 검정: A가 B보다 무조건 높다/낮다
• 점 추정: 정확히 한 점을 선택해 추측
• 구간 추정: 특정 범위/구간을 기준으로 추측
• 표준 오차: 표본 평균의 표준편차
• 신뢰 구간: 실험 결과가 실제로 포함될 것으로 예측하는 범위
• P-value: 귀무가설을 기각할 수 있는지에 대한 판단 방법 중 하나. 귀무가설을 기각할 수 있는 최소한의 확신

관련 사례

https://blog.banksalad.com/tech/birth-of-a-genuine-experiment-organization/

진정한 실험 조직의 탄생 | 뱅크샐러드