설문조사 결과를 분석하는 것은 때로는 단순히 막대 그래프를 비교하는 것에만 그치는 일은 아닙니다.
두 수치 간에 있는 차이를 누구나 다 볼 수는 있다고 해도 이러한 차이가 실제로 통계적 유의성이 있는지 알아내는 데는 좀 더 복잡한 작업이 수반될 수 있습니다.
회사의 고객 만족도 설문조사를 진행했다고 가정하죠. 이제 분석해야 할 방대한 양의 데이터를 확보했습니다. 상사에게 어떤 데이터를 먼저 분석해야 하느냐고 묻자 상사는 남성과 여성들 간에 서로 다른 응답을 제공했는지를 알아보고 싶다고 합니다. 예를 들어, 평균적으로 남성들이 여성들에 비해 회사에 더 낮은 Net Promoter Score℠(NPS)를 주나요?
데이터를 자세히 들여다 보면 남성들로부터 받은 평균 점수는 9이고 이에 비해 여성들의 평균 점수는 12입니다. 그렇다면 9가 12로부터 유의미하게 차이가 있는지 어떻게 알 수 있을까요? 바로 여기서 t-검정을 사용하게 됩니다.
t-검정은 두 수치가 서로 유의미하게 차이가 있는지를 파악하는 방법입니다. t-검정에는 여러 가지 방법이 있으며 각 검정은 서로 다른 공식을 사용하여 계산을 수행합니다.
3가지 가장 일반적인 t-검정
1. 일표본 t-검정: 이 검정은 한 그룹의 데이터 평균(이 경우 전체 NPS)이 지정한 가치와 다른지를 파악합니다.
예: 회사의 목표가 업계 표준인 5보다 유의미하게 높은 NPS를 받는 것이라고 합시다. 회사의 최신 설문조사로부터 받은 NPS는 10이었습니다. 그렇다면 이 10이라는 점수는 업계 표준인 5보다 유의미하게 높은 점수일까요?
2. 이표본 t-검정: 이 검정은 두 개의 독립적인 그룹의 평균이 서로로부터 유의미하게 다른지를 평가합니다.
예: 수립한 가설이 남성들이 여성들에 비해 회사에 더 낮은 NPS를 부여한다는 것이었다고 가정합시다. 남성 응답자들의 평균 NPS는 9이고 여성들의 평균 점수는 12였습니다. 그렇다면 9가 12와 유의미하게 차이가 나는 수치일까요?
3. 대응표본 t-검정: 이 검정은 한 그룹을 대상으로 동일한 설문조사를 두 번 수행하는 경우 사용합니다. 대응표본 t-검정은 이때 평균이 첫 번째 설문조사와 두 번째 설문조사 간에 변경되었는지를 보여줍니다.
예: 동일한 그룹의 고객을 대상으로 설문조사를 두 번 수행했습니다. 첫 번째는 4월에, 두 번째는 고객들이 회사의 광고를 본 후인 5월이었습니다. 회사의 NPS가 고객들이 광고를 본 후에 변경되었나요?
t-검정은 무언가에 유의성이 있는 차이가 있는지는 보여주지만 이러한 차이점에 의미를 부여하는 것은 데이터를 다루는 사람에 달려 있습니다. 작은 차이라도 표본 크기가 큰 경우, 통계적 유의성이 있을 수 있습니다.
t-검정 수행 방법
다음은 t-검정을 수행하는 4가지 단계입니다.
1. t-통계량 계산:
t-검정의 각 유형은 t-통계량을 계산하는 데 각기 다른 공식을 사용합니다(이 세 가지 공식은 이 페이지의 가장 마지막으로 스크롤하여 알아볼 수 있습니다).
2. 자유도 계산:
자유도는 평균이 달라질 수 있는 여러 가지 방법입니다. 이 경우 자유도는 지정된 응답자 그룹으로부터 받을 수 있는 NPS 점수의 횟수입니다. t-통계량과 유사하게, 자유도에 대한 공식은 어떠한 t-검정을 수행하느냐에 따라 달라집니다.
3. 임계값 파악:
임계값은 두 수치 간의 차이가 통계적 유의성이 있는 것으로 간주되는 경계값입니다.
4. t-통계량의 절대값을 임계값과 비교:
t-통계량이 임계값보다 더 큰 경우에는 그 차이가 유의미한 경우입니다. t-통계량이 더 작다면 통계학적으로 말하여 두 수치는 판별할 수 없는 수치입니다.
지금까지의 내용을 종합하여 계산에 적용하기
가장 처음에 제시한 예를 살표보죠. 여기서 수립한 가설은 남성들이 여성들에 비해 더 낮은 NPS를 준다는 것이었습니다. 남성들의 평균 NPS는 9이고 여성들의 평균 점수는 12였습니다. 그렇다면 9가 12와 유의미하게 차이가 있나요? 이 예에서 이표본 t-검정을 사용할 수 있습니다.
1. t-통계량 계산:
다음은 이표본 t-검정 공식입니다. 여기서
- t는 t-통계량
- x1은 남성 평균 NPS → 9
- x2는 여성 평균 → 12
- n1은 NPS 질문에 응답을 제공한 남성들의 수 → 20명이 응답한 것으로 가정
- n2는 여성 수 → 23명이 응답한 것으로 가정
- s1은 남성에 대한 NPS의 표준 편차 → 계산된 표준 편차를 12.48로 가정
- s2는 여성에 대한 NPS의 표준 편차 → 계산된 표준 편차를 10.51로 가정
2. 자유도 계산:
이 공식은 이표본 t-검정에서 자유도를 파악하는 데 사용해야 합니다. 다른 유형의 검정에 대한 공식은 아래 제시되어 있습니다.
3. 임계값 파악:
이 표에 따르면, 자유도 41에서 알파 수준 0.05의 양측 검정의 임계값은 2.02입니다. 대부분의 분석가들은 단측 검정보다 더 보수적인 양측 검정을 사용함을 유념하세요. 단측 검정과 양측 검정 간의 차이에 대한 자세한 정보는 이 Khan Academy 동영상을 참조하세요.
4. t-통계량의 절대값을 임계값에 비교:
t-검정의 절대값은 0.86이므로, 임계값인 2.02보다는 크지 않습니다. 그렇다면 남성들이 여성들에 비해 유의미하게 낮은 NPS를 주는 것이 아니라는 결론을 내릴 수 있습니다.
다른 t-검정 공식
t-검정을 수행할 때에는 대부분 Excel이나 SPSS와 같은 스프레드시트나 통계 프로그램을 사용하지만, 직접 계산해보고 싶다면 다른 두 가지 유형의 t-검정에 대한 공식이 밑에 설명되어 있습니다.
대부분의 사람들이 그러하듯 t-검정을 스프레드시트나 통계 프로그램을 이용하여 수행하는 경우에는 그 절차가 이와는 조금 다릅니다. 임계값의 t-통계량을 비교하는 대신, 대부분의 프로그램은 알파 수준에 비교하는 p-값(가장 일반적으로 사용되는 수준은 0.05)을 계산합니다. 이러한 경우, 알파 수준보다 낮은 p-값은 수치들이 유의미하게 차이가 있음을 보여줍니다.
Net Promoter Score는 Bain & Company, Inc., Satmetrix Systems, Inc. 및 F. Reichheld의 상표입니다.
리소스 더 살펴보기
도구 키트 디렉터리
역할 또는 업계에서 피드백을 활용할 수 있도록 돕기 위해 디자인한 도구 키트를 살펴보세요.
온라인 평가 양식을 통해 행동으로 옮길 수 있는 피드백을 받아보세요
SurveyMonkey의 온라인 평가 양식을 통해 피드백을 백분 활용하세요. 오늘 문의 양식 템플릿을 시작하세요!
설문조사 모범 사례
다음번 설문조사를 최대한 활용할 수 있도록 모범 사례를 확인해 보세요. 설문조사 가이드라인을 살펴보고 지금 바로 시작하세요. 무료입니다!
온라인 문의 양식으로 중요한 연락처 정보를 수집하세요
맞춤 구성할 수 있는 문의 양식을 만들어 웹사이트에 쉽게 추가하세요. 또는 미리 작성된 SurveyMonkey 템플릿 중 하나를 사용하여 비즈니스를 더 빠르게 성장시킬 수 있습니다.