A/B 테스트 계산기

결과에 통계적 유의성이 있나요?

통계적 유의성 계산

방문자

전환 수

전환율

A

1.00%

B

1.14%

가설양측 검정은 변수가 결과에 부정적인 영향을 미칠 수 있는 가능성을 고려합니다.

신뢰 수준결과가 무작위적으로 우연히 확보하게 된 것이 아님을 확신할 수 있는 신뢰 수준입니다.

유의성이 있는 결과입니다!

변수 B의 전환율(1.14%)이 변수 A의 전환율(1%)보다 14% 더 높았습니다. 변수 B가 변수 A보다 결과가 더 좋을 것임을 95% 신뢰 수준으로 확신할 수 있습니다.

검정력

86.69%

p값

0.0157

통계적 유의성 정의

A/B 테스트 실험 맥락에서 통계적 유의성이란 실험의 대조 버전과 테스트 버전 사이의 차이가 오류나 무작위 기회로 인한 것이 아닐 가능성이 얼마나 있는지를 나타내는 것입니다.

예를 들어, 95%의 유의성 수준으로 테스트를 수행하는 경우 차이가 사실이라고 95% 확신할 수 있습니다.

비즈니스에서는 실험이 비즈니스의 전환율에 어떻게 영향을 미치는지 관찰하는 데 일반적으로 사용됩니다. 설문조사에서 통계적 유의성은 주로 설문조사 결과에 대한 확신을 부여하기 위한 방법으로 사용됩니다. 예를 들어, 설문조사에서 응답자들에게 광고 개념 A 또는 광고 개념 B 중 어느 것을 선호하는지를 물은 경우, 어느 결과를 사용할지를 결정하기 전에 결과 간에 나타나는 차이가 통계적으로 유의성이 있는지 확인해야 합니다.

복잡한 계산은 저희에게 맡기세요. Advantage 서비스를 통해 자동으로 통계적 유의성을 알아볼 수 있습니다. 가격 보기.

통계적 유의성 계산 방법

첫 번째 단계는 가설을 설정하는 것입니다. 어떤 실험에서든 비교하고자 하는 두 가지 사항 간에 그 어떠한 관계도 없음을 나타내는 귀무 가설이 있고 대립 가설이 있습니다. 대립 가설은 통상적으로 관계가 있음을 증명하고자 하는 것으로 실험을 통해 입증하고자 하는 사항을 뒷받침합니다. 전환율 AB 테스트 측면에서 보자면, 가설은 버튼, 이미지 또는 페이지에 어떤 내용을 추가하여 전환율에 영향을 미치는지를 알아보는 것과 관련됩니다. 위에서의 예와 같이 개념 테스트에 설문조사를 이용하면 가설은 서로 다른 광고 변수를 테스트하여 사람들이 어떤 광고가 가장 호소력이 있다고 생각하는지 알아보는 것일 수 있습니다.

귀무 가설과 대립 가설을 확립한 후에는 통계학자들은 때로 가설의 완전성을 확인하기 위한 테스트를 수행하기도 합니다. Z점수는 귀무 가설의 타당성을 평가합니다. 이를 통해 비교하고자 하는 사항들 간에 관계가 없는지도 알아볼 수 있습니다. p값은 대립 가설을 증명하기 위한 증거가 얼마나 타당성이 있는지를 나타냅니다.

통계적 유의성 테스트 실행 시 단측검정으로 수행할지 아니면 양측검증으로 수행할지 결정하면 유용합니다. 단측검정은 대립 가설이 방향적 효과를 미칠 것이라고 가정하는 것이며 양측검정은 가설이 결과에 부정적인 영향을 미치는 사항도 고려합니다. 일반적으로, 양측검정이 더 보수적인 선택입니다.

전문 통계학자들조차 통계 모형 소프트웨어로 유의성을 계산하며 그 유의성을 뒷받침하는 검증을 이용하기 때문에 여기에서 너무 깊이 다루지는 않겠습니다. 하지만 A/B 테스트를 실행하는 경우 이 페이지 위에 있는 계산기를 이용하여 결과의 통계적 유의성을 계산해 볼 수 있습니다. 설문조사 결과의 유의성을 계산하고자 하는 경우, SurveyMonkey가 자동으로 계산해 드릴 수 있습니다.

결과에 어째서 유의성이 없는지 궁금하시나요?

고객들에게 설문조사를 보내어 고객들이 찾고 있는 것이 무엇인지 알아보세요.