T-검정의 모든 것: 설문조사 분석에 대해 가지고 있는 의미

두 수치 간에 있는 차이를 누구나 다 볼 수는 있다고 해도 이러한 차이가 실제로 통계적 유의성이 있는지 알아내는 데는 좀 더 복잡한 작업이 수반될 수 있습니다.

회사의 고객 만족도 설문조사를 진행했다고 가정하죠. 이제 분석해야 할 방대한 양의 데이터를 확보했습니다. 상사에게 어떤 데이터를 먼저 분석해야 하느냐고 묻자 상사는 남성과 여성들 간에 서로 다른 응답을 제공했는지를 알아보고 싶다고 합니다. 예를 들어, 평균적으로 남성들이 여성들에 비해 회사에 더 낮은 Net Promoter Score℠(NPS)를 주나요?

데이터를 자세히 들여다 보면 남성들로부터 받은 평균 점수는 9이고 이에 비해 여성들의 평균 점수는 12입니다. 그렇다면 9가 12로부터 유의미하게 차이가 있는지 어떻게 알 수 있을까요? 바로 여기서 t-검정을 사용하게 됩니다.

t-검정은 두 수치가 서로 유의미하게 차이가 있는지를 파악하는 방법입니다. t-검정에는 여러 가지 방법이 있으며 각 검정은 서로 다른 공식을 사용하여 계산을 수행합니다.

1. 일표본 t-검정: 이 검정은 한 그룹의 데이터 평균(이 경우 전체 NPS)이 지정한 가치와 다른지를 파악합니다.

예: 회사의 목표가 업계 표준인 5보다 유의미하게 높은 NPS를 받는 것이라고 합시다. 회사의 최신 설문조사로부터 받은 NPS는 10이었습니다. 그렇다면 이 10이라는 점수는 업계 표준인 5보다 유의미하게 높은 점수일까요?

2. 이표본 t-검정: 이 검정은 두 개의 독립적인 그룹의 평균이 서로로부터 유의미하게 다른지를 평가합니다.

예: 수립한 가설이 남성들이 여성들에 비해 회사에 더 낮은 NPS를 부여한다는 것이었다고 가정합시다. 남성 응답자들의 평균 NPS는 9이고 여성들의 평균 점수는 12였습니다. 그렇다면 9가 12와 유의미하게 차이가 나는 수치일까요?

3. 대응표본 t-검정: 이 검정은 한 그룹을 대상으로 동일한 설문조사를 두 번 수행하는 경우 사용합니다. 대응표본 t-검정은 이때 평균이 첫 번째 설문조사와 두 번째 설문조사 간에 변경되었는지를 보여줍니다.

예: 동일한 그룹의 고객을 대상으로 설문조사를 두 번 수행했습니다. 첫 번째는 4월에, 두 번째는 고객들이 회사의 광고를 본 후인 5월이었습니다. 회사의 NPS가 고객들이 광고를 본 후에 변경되었나요?

t-검정은 무언가에 유의성이 있는 차이가 있는지는 보여주지만 이러한 차이점에 의미를 부여하는 것은 데이터를 다루는 사람에 달려 있습니다. 작은 차이라도 표본 크기가 큰 경우, 통계적 유의성이 있을 수 있습니다.

다음은 t-검정을 수행하는 4가지 단계입니다.

1. t-통계량 계산:
t-검정의 각 유형은 t-통계량을 계산하는 데 각기 다른 공식을 사용합니다(이 세 가지 공식은 이 페이지의 가장 마지막으로 스크롤하여 알아볼 수 있습니다).

2. 자유도 계산: 
자유도는 평균이 달라질 수 있는 여러 가지 방법입니다. 이 경우 자유도는 지정된 응답자 그룹으로부터 받을 수 있는 NPS 점수의 횟수입니다. t-통계량과 유사하게, 자유도에 대한 공식은 어떠한 t-검정을 수행하느냐에 따라 달라집니다.

3. 임계값 파악: 
임계값은 두 수치 간의 차이가 통계적 유의성이 있는 것으로 간주되는 경계값입니다.

4. t-통계량의 절대값을 임계값과 비교: 
t-통계량이 임계값보다 더 큰 경우에는 그 차이가 유의미한 경우입니다. t-통계량이 더 작다면 통계학적으로 말하여 두 수치는 판별할 수 없는 수치입니다.

가장 처음에 제시한 예를 살표보죠. 여기서 수립한 가설은 남성들이 여성들에 비해 더 낮은 NPS를 준다는 것이었습니다. 남성들의 평균 NPS는 9이고 여성들의 평균 점수는 12였습니다. 그렇다면 9가 12와 유의미하게 차이가 있나요? 이 예에서 이표본 t-검정을 사용할 수 있습니다.

1. t-통계량 계산: 

다음은 이표본 t-검정 공식입니다. 여기서

2. 자유도 계산: 

이 공식은 이표본 t-검정에서 자유도를 파악하는 데 사용해야 합니다. 다른 유형의 검정에 대한 공식은 아래 제시되어 있습니다.

3. 임계값 파악: 

이 표에 따르면, 자유도 41에서 알파 수준 0.05의 양측 검정의 임계값은 2.02입니다. 대부분의 분석가들은 단측 검정보다 더 보수적인 양측 검정을 사용함을 유념하세요. 단측 검정과 양측 검정 간의 차이에 대한 자세한 정보는 이 Khan Academy 동영상을 참조하세요.

4. t-통계량의 절대값을 임계값에 비교: 

t-검정의 절대값은 0.86이므로, 임계값인 2.02보다는 크지 않습니다. 그렇다면 남성들이 여성들에 비해 유의미하게 낮은 NPS를 주는 것이 아니라는 결론을 내릴 수 있습니다.

t-검정을 수행할 때에는 대부분 Excel이나 SPSS와 같은 스프레드시트나 통계 프로그램을 사용하지만, 직접 계산해보고 싶다면 다른 두 가지 유형의 t-검정에 대한 공식이 밑에 설명되어 있습니다.

대부분의 사람들이 그러하듯 t-검정을 스프레드시트나 통계 프로그램을 이용하여 수행하는 경우에는 그 절차가 이와는 조금 다릅니다. 임계값의 t-통계량을 비교하는 대신, 대부분의 프로그램은 알파 수준에 비교하는 p-값(가장 일반적으로 사용되는 수준은 0.05)을 계산합니다. 이러한 경우, 알파 수준보다 낮은 p-값은 수치들이 유의미하게 차이가 있음을 보여줍니다.

Net Promoter Score는 Bain & Company, Inc., Satmetrix Systems, Inc. 및 F. Reichheld의 상표입니다.