[통계학] 2-4 AB test

AB 테스트

사용자 경험 연구 방법론. 예를 들어, 인터넷 쇼핑몰에서 '제품 구매하기' 버튼의 자리를 왼쪽에서 오른쪽으로 옮기려고 한다. 실험기간 동안 쇼핑몰에 접속한 50%에게는 '원래 버전'을, 또 다른 50%에게는 '새 버전'을 보여주며 전환율을 비교해보는 것이다. 앞에서 배운 귀무가설과 대립가설을 세워 비교하는 방식과 거의 비슷하다.

 

z-test

sm.stats.proportions_ztest 함수를 이용하면 p-value를 바로 구할 수 있다

 

# H0 : μ old >= μ new

import statsmodels.api as sm

# 버튼을 클릭한 방문자수 구하기
old_convert = df.query('Page == "old"').전환율.sum()
new_convert = df.query('Page == "new"').전환율.sum()

# 각 랜딩페이지 방문자수 구하기
old_num = df.query('group == "control"').shape[0]
new_num = df.query('group == "experiment"').shape[0]


z_score, p_value = sm.stats.proportions_ztest([old_convert, new_convert], [old_num, new_num], alternative='smaller')
# 파라미터로 페이지별로 전환된 방문자, 전체 방문자를 써준다
# alternative는 대립가설 기준. 대립가설에서 "old < new" 였기 때문에 'smaller'을 써주었다

print(p_value)
# 0.9050583127590245
# p-value가 0.05 이상이라 귀무가설 기각
# 버튼의 위치를 바꾸지 않고 유지하기로 한다