설문조사 결과를 분석하는 것은 때로는 단순히 막대 그래프를 비교하는 것에만 그치는 일은 아닙니다.
두 수치 간에 있는 차이를 누구나 다 볼 수는 있다고 해도 이러한 차이가 실제로 통계적 유의성이 있는지 알아내는 데는 좀 더 복잡한 작업이 수반될 수 있습니다.
회사의 고객 만족도 설문조사를 진행했다고 가정하죠. 이제 분석해야 할 방대한 양의 데이터를 확보했습니다. 상사에게 어떤 데이터를 먼저 분석해야 하느냐고 묻자 상사는 남성과 여성들 간에 서로 다른 응답을 제공했는지를 알아보고 싶다고 합니다. 예를 들어, 평균적으로 남성들이 여성들에 비해 회사에 더 낮은 Net Promoter Score℠(NPS)를 주나요?
데이터를 자세히 들여다 보면 남성들로부터 받은 평균 점수는 9이고 이에 비해 여성들의 평균 점수는 12입니다. 그렇다면 9가 12로부터 유의미하게 차이가 있는지 어떻게 알 수 있을까요? 바로 여기서 t-검정을 사용하게 됩니다.
t-검정은 두 수치가 서로 유의미하게 차이가 있는지를 파악하는 방법입니다. t-검정에는 여러 가지 방법이 있으며 각 검정은 서로 다른 공식을 사용하여 계산을 수행합니다.
3가지 가장 일반적인 t-검정
1. 일표본 t-검정: 이 검정은 한 그룹의 데이터 평균(이 경우 전체 NPS)이 지정한 가치와 다른지를 파악합니다.
예: 회사의 목표가 업계 표준인 5보다 유의미하게 높은 NPS를 받는 것이라고 합시다. 회사의 최신 설문조사로부터 받은 NPS는 10이었습니다. 그렇다면 이 10이라는 점수는 업계 표준인 5보다 유의미하게 높은 점수일까요?
2. 이표본 t-검정: 이 검정은 두 개의 독립적인 그룹의 평균이 서로로부터 유의미하게 다른지를 평가합니다.
예: 수립한 가설이 남성들이 여성들에 비해 회사에 더 낮은 NPS를 부여한다는 것이었다고 가정합시다. 남성 응답자들의 평균 NPS는 9이고 여성들의 평균 점수는 12였습니다. 그렇다면 9가 12와 유의미하게 차이가 나는 수치일까요?
3. 대응표본 t-검정: 이 검정은 한 그룹을 대상으로 동일한 설문조사를 두 번 수행하는 경우 사용합니다. 대응표본 t-검정은 이때 평균이 첫 번째 설문조사와 두 번째 설문조사 간에 변경되었는지를 보여줍니다.
예: 동일한 그룹의 고객을 대상으로 설문조사를 두 번 수행했습니다. 첫 번째는 4월에, 두 번째는 고객들이 회사의 광고를 본 후인 5월이었습니다. 회사의 NPS가 고객들이 광고를 본 후에 변경되었나요?
t-검정은 무언가에 유의성이 있는 차이가 있는지는 보여주지만 이러한 차이점에 의미를 부여하는 것은 데이터를 다루는 사람에 달려 있습니다. 작은 차이라도 표본 크기가 큰 경우, 통계적 유의성이 있을 수 있습니다.
t-검정 수행 방법
다음은 t-검정을 수행하는 4가지 단계입니다.
1. t-통계량 계산:
t-검정의 각 유형은 t-통계량을 계산하는 데 각기 다른 공식을 사용합니다(이 세 가지 공식은 이 페이지의 가장 마지막으로 스크롤하여 알아볼 수 있습니다).
2. 자유도 계산:
자유도는 평균이 달라질 수 있는 여러 가지 방법입니다. 이 경우 자유도는 지정된 응답자 그룹으로부터 받을 수 있는 NPS 점수의 횟수입니다. t-통계량과 유사하게, 자유도에 대한 공식은 어떠한 t-검정을 수행하느냐에 따라 달라집니다.
3. 임계값 파악:
임계값은 두 수치 간의 차이가 통계적 유의성이 있는 것으로 간주되는 경계값입니다.
4. t-통계량의 절대값을 임계값과 비교:
t-통계량이 임계값보다 더 큰 경우에는 그 차이가 유의미한 경우입니다. t-통계량이 더 작다면 통계학적으로 말하여 두 수치는 판별할 수 없는 수치입니다.
지금까지의 내용을 종합하여 계산에 적용하기
가장 처음에 제시한 예를 살표보죠. 여기서 수립한 가설은 남성들이 여성들에 비해 더 낮은 NPS를 준다는 것이었습니다. 남성들의 평균 NPS는 9이고 여성들의 평균 점수는 12였습니다. 그렇다면 9가 12와 유의미하게 차이가 있나요? 이 예에서 이표본 t-검정을 사용할 수 있습니다.
1. t-통계량 계산:
다음은 이표본 t-검정 공식입니다. 여기서
- t는 t-통계량
- x1은 남성 평균 NPS → 9
- x2는 여성 평균 → 12
- n1은 NPS 질문에 응답을 제공한 남성들의 수 → 20명이 응답한 것으로 가정
- n2는 여성 수 → 23명이 응답한 것으로 가정
- s1은 남성에 대한 NPS의 표준 편차 → 계산된 표준 편차를 12.48로 가정
- s2는 여성에 대한 NPS의 표준 편차 → 계산된 표준 편차를 10.51로 가정
2. 자유도 계산:
이 공식은 이표본 t-검정에서 자유도를 파악하는 데 사용해야 합니다. 다른 유형의 검정에 대한 공식은 아래 제시되어 있습니다.
3. 임계값 파악:
이 표에 따르면, 자유도 41에서 알파 수준 0.05의 양측 검정의 임계값은 2.02입니다. 대부분의 분석가들은 단측 검정보다 더 보수적인 양측 검정을 사용함을 유념하세요. 단측 검정과 양측 검정 간의 차이에 대한 자세한 정보는 이 Khan Academy 동영상을 참조하세요.
4. t-통계량의 절대값을 임계값에 비교:
t-검정의 절대값은 0.86이므로, 임계값인 2.02보다는 크지 않습니다. 그렇다면 남성들이 여성들에 비해 유의미하게 낮은 NPS를 주는 것이 아니라는 결론을 내릴 수 있습니다.
다른 t-검정 공식
t-검정을 수행할 때에는 대부분 Excel이나 SPSS와 같은 스프레드시트나 통계 프로그램을 사용하지만, 직접 계산해보고 싶다면 다른 두 가지 유형의 t-검정에 대한 공식이 밑에 설명되어 있습니다.
대부분의 사람들이 그러하듯 t-검정을 스프레드시트나 통계 프로그램을 이용하여 수행하는 경우에는 그 절차가 이와는 조금 다릅니다. 임계값의 t-통계량을 비교하는 대신, 대부분의 프로그램은 알파 수준에 비교하는 p-값(가장 일반적으로 사용되는 수준은 0.05)을 계산합니다. 이러한 경우, 알파 수준보다 낮은 p-값은 수치들이 유의미하게 차이가 있음을 보여줍니다.
Net Promoter Score는 Bain & Company, Inc., Satmetrix Systems, Inc. 및 F. Reichheld의 상표입니다.
리소스 더 살펴보기
도구 키트 디렉터리
역할 또는 업계에서 피드백을 활용할 수 있도록 돕기 위해 디자인한 도구 키트를 살펴보세요.
퇴사자 인터뷰 양식을 만들어 개선이 필요한 영역 파악
퇴사자 인터뷰 설문조사에서 올바른 질문을 하여 직원 감소율을 낮추세요. 직원 양식 작성기 도구와 템플릿으로 지금 시작하세요.
온라인 동의서 양식으로 필요한 허가를 받으세요
맞춤 동의서 양식으로 필요한 허가를 받으세요. 지금 무료로 가입하여 동의서 양식 템플릿으로 간편하게 양식을 만드세요.
온라인 요청 양식으로 간편하게 요청 받기
요청 양식을 수월하게 만들고 맞춤화하여 직원, 고객 등으로부터 요청을 받으세요. SurveyMonkey의 전문가가 작성한 템플릿으로 단 몇 분만에 시작할 수 있습니다.