가설검정과 AB테스트 예제

▶︎ 가설검정과 AB 테스트란? 

→ 가설검정 : 가설이 통계적으로 유의한지 판단하는 과정

→ AB테스트 : 기존의 A안보다 새로운 B안이 진짜 더 좋을까? 를 통계적으로 판단하는 방법

즉, 가설을 A안이 더 전환율이 높다, B안이 더 높다 라고 바꾸면 둘은 연구 결과에 대한 유효성을 판단하는 같은 조사 방법이다. AB테스트가 웹 사이트 화면 실험으로 시작되어서 알려졌지만 사실상 가설검정과 다를 것이 없다.

 

▶︎ AB테스트의 장점

→ 비교적 빠르고 쉽게 더 나은 선택을 함으로써 유저의 편의성을 증대시키고 서비스를 개선할 수 있다.

→ 상관관계로 부터 인과관계일 가능성이 높은 것을 찾을 수 있다. 

 

▶︎ AB테스트의 단점

→ 가설 검정에서 보고자했던 요인 사이에 인과관계를 정확히 알 수 없다는 단점이 있다. 변수가 관련되어 보이지만 실제로는 근본적인 관계가 없는 무작위 결과일 수도 있고, 관계를 실제보다 더 강력하게 보이도록 만드는 제3의 잠복 변수가 있을 수도 있다.

→ 새로운 방식과 기존 방식이 크게 차이가 난다면 사용자의 혼란을 가중시켜 이탈을 만드는 요인이 될 수 있다. 

→ 테스트를 많이/자주하면 단기적으로 손해가 발생할 수 있다. 실험 시간동안 고객의 전환율이 낮아지는게 보이는데 중단할 수 없는 안타까움과 이로 인해 놓치는 수익 등

→ 실험 기간에 대한 기준을 마련하기 어렵다. 신기효과와 초두효과를 염두해 두어야 한다.

→ A/B테스트 결과는 계절 변화나 취향 변화, 집단의 성격 등 시간의 흐름에 따라 바뀔 수 있기 때문에 반복적으로 실험해야 한다. 그러나 실험을 지속적으로 할 때 비용이 발생한다. 

→ A/B 테스트만 해서는 지역최적점에 머물게 될 위험이 있다. 보통 하나의 변수만 바꾸면서 둘 중 더 나은 것을 점진적으로 찾아가기 때문에 전역적인 최적점을 찾기 어렵다. 

 

▶︎ 가설검정에 쓰이는 통계학 용어 쉬운 풀이

→ p값 : 어떤 사건이 우연히 발생할 확률

→ 유의수준 α : 우연에 의한 결과라고 생각되는 임계확률. 즉, 유의수준이 0.05이면 5%확률로 잘못된 결론을 내릴 수 있다는 말이기도 함

→ p값 < 유의수준 α 0.05

: 실험 결과가 우연히 발생할 확률이 5%보다 작다. 

: 실험 결과가 우연히 일어났을 가능성이 거의 없다.

: 인과관계가 있다고 추정된다. 유의하다

→ p값 > 유의수준 α 0.05

: 실험 결과가 우연히 발생할 확률이 5%보다 크다. 

: 실험 결과가 우연히 일어났을거다.

: 인과관계가 없다고 추정된다. 유의하지 않다

 

▶︎ 예제

→ A안의 노출 고객은 1000명, 클릭 고객은 20명.

→ B안의 노출 고객은 1100명, 클릭 고객은 30명.

→ B안의 클릭율이 더 높다고 할 수 있나? 

예제풀이

▶︎ 가설검정 공부 자료. 

1. 1표본 t검정. 표본 평균을 가설값이나 목표값과 비교할 수 있다.

2. 2표본 z검정 : 두 모비율의 비교

 

참고 사이트

- t분포 : https://blog.minitab.com/ko/adventures-in-statistics-2/understanding-t-tests-t-values-and-t-distributions

- 가설검정 예시 활용 https://zzaebok.github.io/ab_test/ab-testing/