A/B 테스트 계산기

AB 테스트 실험 맥락으로 보면, 통계적 유의성은 실험의 대조 버전과 테스트 버전 사이의 차이가 오류나 무작위 기회로 인한 것이 아닐 가능성이 얼마나 있는지를 나타내는 것입니다.

예를 들어, 95%의 유의성 수준으로 테스트를 수행하는 경우, 차이가 실질적이라는 점을 95% 정도 확신할 수 있게 됩니다.

비즈니스에서는 실험이 비즈니스의 전환율에 어떻게 영향을 미치는지 관찰하는 데 일반적으로 사용됩니다. 설문조사에서 통계적 유의성은 주로 설문조사 결과에 대한 확신을 부여하기 위한 방법의 한 가지로 사용됩니다. 예를 들어, 설문조사에서 응답자들에게 광고 콘셉트 A 또는 B 중 어느 것을 선호하는지를 물은 경우, 어느 결과를 사용할지 결정하기 전에 결과 간에 나타나는 차이가 통계적으로 유의성이 있는지를 확인해야 합니다.

첫 번째 단계는 가설을 설정하는 것입니다. 어떤 실험에서든 비교하고자 하는 두 가지의 사항 간에 그 어떠한 관계도 없음을 나타내는 귀무 가설이 있고, 대립 가설이 있습니다. 대립 가설은 통상적으로 관계가 있음을 증명하고자 하는 것으로 실험을 통해 입증하고자 하는 사항을 뒷받침합니다. 전환율 A/B 테스트 측면에서 보자면, 가설은 버튼, 이미지 또는 페이지에 어떤 내용을 추가하여 전환율에 영향을 미치는지를 알아보는 것과 관련됩니다. 위에서의 예와 같이 개념 테스트에 설문조사를 이용하면 가설은 서로 다른 광고 변수를 테스트하여 사람들이 어떤 광고가 가장 호소력이 있다고 생각하는지를 알아보는 것일 수 있습니다.

귀무 가설과 대립 가설을 확립한 후에는 통계학자들은 때로 가설의 타당성을 확인하기 위해 테스트를 수행하기도 합니다. z-점수는 귀무 가설의 유효성을 평가합니다. 이를 통해 비교하고자 하는 사항들 간에 관계가 없는지도 알아볼 수 있습니다. p-값은 대립 가설을 증명하기 위한 증거가 얼마나 타당성이 있는지를 나타냅니다.

통계적 유의성을 검증할 때엔, 단측검정(one sided 또는 one tailed)으로 수행할지 아니면 양측검증(two sided 또는 two tailed)으로 수행할지를 결정하는 것이 현명합니다. 단측검정은 대립 가설이 방향적 효과를 미칠 것이라고 가정하는 것이며, 양측검정은 가설이 결과에 부정적인 영향을 미칠 수 있는지도 고려합니다. 일반적으로, 양측검정이 더 보수적인 선택입니다.

전문 통계학자들은 통계 모형 소프트웨어로 유의성을 계산하며 그 유의성을 뒷받침하는 검증을 이용하기 때문에 여기에서는 너무 깊이까지 알아보지는 않겠습니다. 하지만, A/B 테스트를 수행하는 경우, 이 페이지 위에 있는 계산기를 이용하여 결과의 통계적 유의성을 계산해볼 수 있습니다. 설문조사 결과의 유의성을 계산하고자 하는 경우, SurveyMonkey가 자동으로 계산해 드릴 수 있습니다.