데이터 분석

설문조사 과학자처럼 설문조사를 분석하는 방법

오늘 설문조사를 만드세요.

가장 핵심적인 연구조사 질문 파악

첫 번째로, 핵심적인 연구조사 질문 결과를 분석하는 방법부터 살펴보겠습니다. 설문조사 목표를 수립했을 때 핵심적인 연구조사 질문에 대한 윤곽도 확립되었음을 기억하시죠?

예를 들어, 교육 컨퍼런스를 주최하고 참가자들에게 행사 후 의견 설문조사를 보냈다고 가정하죠. 여기서 가장 핵심적인 연구조사 질문 중 하나는 ‘컨퍼런스에 대해 전반적인 참가자들의 평가’일 것입니다. 이제 이 핵심적인 연구조사 질문에 대한 답이 될, 특정 설문조사 질문에 대해 수집된 답변을 살펴보아야 합니다.

Screen Shot 2014-03-05 at 10.46.26 AM

여기서 응답을 살펴보면 백분율(71%, 18%)과 수치(852, 216)가 있습니다.

백분율은 특정 답변을 제공한 사람들의 백분율입니다. 이를 다른 말로 설명하면 백분율은 곧 각 답변을 제공한 사람들의 수를 해당 질문에 답변을 제공한 사람들의 수에 대한 비율로서 나타내는 것입니다. 이 표에서는 설문조사 응답자의 71%(설문조사 대상 1,200명 중 852명)가 내년에 다시 참가할 의향을 나타내고 있으며
18%의 사람들은 다시 참가할 의향이 없고 11%는 아직 결정하지 않았음을 보여줍니다.
원시 수치는 각 답변을 제공한 설문조사 응답자들의 수로, 내년에 다시 참가할 의향이 있음을 나타낸 사람들의 수는 852명입니다. 다시 참가하겠다고 답변한 사람들의 대부분과 아직 확실히 결정되지 않은 사람들 중 일부가 내년에 다시 참가할 것으로 예상하면, 내년에 컨퍼런스에 참가할 인원 수*를 추정하기 위한 예측 모델을 구축할 수 있습니다. *참가율이 매우 높았다면, 즉, 컨퍼런스에 참가하고 설문조사를 받은 대부분의 사람들이 답변을 제공했다면 이 수치는 좀 더 확신을 가지고 예상할 수 있습니다.

결과 교차분석 또는 필터링

설문조사 목표를 수립하고 분석 계획을 개발했을 때 어떤 하위 그룹을 분석 및 비교할 것인지에 대해 생각해 두셨던 것을 기억하시나요? 이 단계가 바로 그 모든 계획이 실질적으로 실행되는 때입니다. 예를 들어, 내년에 열릴 컨퍼런스에 대한 질문에 교사, 학생 및 행정인들의 답변을 서로 비교한다고 가정하죠. 비교를 위해 우선 다음과 같은 교차분석을 만들어서 컨퍼런스 질문에 대한 하위 그룹별 결과를 나타내야 합니다.

Screen Shot 2014-03-05 at 10.54.10 AM

이 표를 살펴보면 대부분의 학생(86%)과 교사(80%)가 내년에 다시 참가할 의향이 있음을 나타냅니다. 그러나 올해 컨퍼런스에 참가한 행정인들의 의향은 단지 46%만이 내년에 참가하겠다는 의향을 밝혀 학생과 교사와는 전혀 달라 보입니다. 다른 질문을 살펴봄으로써 어째서 이러한 현상이 발생했는지를 이해하고 행정인들을 위해 컨퍼런스를 어떻게 개선할 수 있는지를 알아내어 내년에는 더 많은 행정인들이 다시 참가할 수 있게 됩니다.필터를 사용하는 것은 데이터 분석을 위한 또 다른 유용한 도구입니다. 필터링이란 다른 요소들을 모두 제거하고 한 개의 특정 하위 그룹에만 초점을 맞추는 것입니다. 즉 하위 그룹들을 서로 비교하는 것이 아니라, 단 한 개의 하위 그룹이 어떻게 답변했는지를 살펴보게 됩니다. 예를 들어, 여성 행정인, 여성 교사, 여성 학생들을 비교하기 위해 여성(또는 남성)에만 중점을 두어 참가자 유형별 교차분석을 다시 실행할 수 있습니다. 이렇게 결과를 여러 가지 면으로 분석할 때 주의해야 할 점은 필터 또는 교차 분석을 적용할 때마다 표본 크기가 줄어든다는 것입니다. 통계적으로 유의성 있는 결과를 확보하려면 표본 크기 계산기를 사용할 수 있습니다.

벤치마크, 동향 및 비교 데이터

컨퍼런스 의견 설문조사에서 핵심 질문 중 하나가 컨퍼런스에 대해 전반적으로 얼마나 만족했는지를 묻는 질문이었다고 가정하죠. 여기서 75%의 참가자들이 컨퍼런스에 만족했다고 답변했습니다. 꽤 높은 만족도죠? 하지만 이 수치가 좀 더 의미를 가지도록 하는 것은 어떨까요? 다른 요소와 비교해 보는 것은요? 작년보다 더 나아진 수치인가요, 아니면 더 하락된 수치인가요? 다른 컨퍼런스와 비교했을 때는 어떤까요?
또한, 이 질문을 작년 컨퍼런스 후의 컨퍼런스 의견 설문조사에서도 물었다고 가정하죠. 이 경우엔 동향 비교를 할 수 있습니다. 여론조사 전문가들이 하나같이 이구동성으로 하는 말은 ‘동향을 알아야 길이 보인다’라는 것입니다.
작년 만족도가 60%였다면 올해에는 15%나 그 수치가 상승되었습니다! 만족도를 상승시킨 요인은 무엇이었을까요? 설문조사의 다른 질문들에서 이에 대한 답변을 찾아볼 수 있습니다.
작년 컨퍼런스 데이터가 없는 경우, 각 컨퍼런스마다 의견을 수집하기 시작하는 때를 올해로 잡으세요. 이를 벤치마킹이라고 합니다. 벤치마크나 수치나 기준치를 수립하고 나면 다음부터는 이러한 수치에 변화가 생겼는지, 어째서 변화가 생겼는지를 알 수 있게 됩니다. 참가자들의 만족도 뿐만이 아니라 다른 질문들도 벤치마크하여 참가자들이 컨퍼런스에 대해 어떻게 생각했는지를 매해 추적할 수 있습니다. 이 방법을 종단적 데이터 분석이라고 합니다. SurveyMonkey Benchmarks가 설문조사 결과에 의미를 주는 데 어떤 도움을 줄 수 있는지 자세히 알아보세요.

종단적 분석

종단적 데이터 분석(흔히 ‘동향 분석’으로 일컬어짐)은 기본적으로 특정 질문에 대해 알게 된 사항들이 시간의 경과에 따라 어떻게 변하는지를 추적하는 것입니다. 일단 벤치마크를 수립하고 나면 수치가 변하는지, 어떻게 변하는지를 측정할 수 있게 됩니다. 컨퍼런스에 대한 만족도가 3년 전에는 50%였고, 2년 전에는 55%, 작년에는 65%, 올해는 75%였다고 가정하죠. 이 경우엔 종단적 데이터 분석이 만족도 면에서 변함 없는 상승 추세를 나타내고 있어, 바람직한 변화를 나타내고 있습니다!
또한, 서로 다른 하위 그룹에 대한 데이터도 추적할 수 있습니다. 예를 들어, 학생과 교사의 만족도는 매해 계속해서 상승되나 행정인들의 만족도는 그렇지 않다고 가정하죠. 이런 경우엔 행정인들이 답변을 한 다른 여러 가지 질문들을 연구하여 어째서 행정인들이 다른 참가자들보다 덜 만족해 하는지에 대한 통찰력을 확보할 수 있습니다.

통계 수치 계산

다시 참가할 의향이 있다고 밝힌 사람들의 수는 알고 있지만 설문조사로부터 확보한 답변이 얼마나 신뢰성 있으며 향후 결정에 사용하기 위해 확신을 가지고 사용할 수 있는지는 어떻게 알 수 있을까요? 데이터 질에 주의를 기울이고 통계적 유의성에 대한 요소를 이해하는 것은 매우 중요합니다.
일상적 대화에서 ‘유의성’이라는 말은 중요하거나 의미가 있다는 뜻으로 사용됩니다. 설문조사 분석이나 통계학에서의 유의성은 ‘정확성에 대한 평가’를 뜻합니다. 바로 여기서 설문조사 작업에 ‘플러스 또는 마이너스’가 사용되기 시작합니다. 구체적으로 말하자면 이는 설문조사 결과가 특정 신뢰 수준 내에서 정확성이 있으며 그 정확성이 임의적인 요소로 인한 결론이 아님을 뜻합니다. 부정확한 결과(즉, 통계적 유의성이 없는 결론)를 기반으로 도출한 결론은 위험성을 지닙니다. 모든 통계적 유의성 평가에서 첫 번째로 고려해야 하는 요소는 표본의 대표성입니다. 즉, 설문조사에 포함된 그룹의 사람들이 결론을 도출하고자 하는 상대인 사람들 전체를 얼마나 잘 나타내고 있느냐를 고려하는 것입니다.
설문조사를 완료한 컨퍼런스 참가자들 중 90%가 남성이나 컨퍼런스 참가자들의 15%만이 남성이라면 여기서 결론되는 수치를 확신할 수 없습니다. 연구하고자 하는 인구 집단에 대해 더 많이 알면 알수록 설문조사로부터 확보하는 수치에 더 큰 확신을 가질 수 있게 됩니다. 이 예에서 성별로 보자면 남성이 설문조사 응답자의 15%를 차지했다면 문제가 될 일이 없습니다.
설문조사 표본이 이미 파악되어 있는 인구 집단의 무작위 선택 표본이라면 통계적 유의성은 간단한 방법으로 계산될 수 있습니다. 여기서 가장 중요한 요소는 포본 크기입니다. 예를 들어, 컨퍼런스에 참가한 1,000명 중 50명이 설문조사에 응답했다고 가정하죠. 이 50명은 작은 표본 크기로 인해 넓은 오차 한계를 가지게 됩니다. 간단히 말하자면, 이 결과의 의미는 그다지 신뢰성이 없게 되는 것입니다.
이번엔 설문조사 응답자들에게 컨퍼런스 중 진행된 10개의 세션 중 몇 개에 참여했는지를 물었고 다음과 같은 결과를 받았다고 가정하죠.

Screen Shot 2014-03-05 at 11.02.19 AM

여기서 평균을 분석하고자 합니다. 평균에는 평균값, 중앙값, 최빈값의 세 가지 종류가 있습니다.
위의 표에서 보자면 세션에 참가한 평균 수는 6.3입니다. 표에 나와 있는 평균은 평균값으로 대부분의 사람들에게 익숙한 종류의 평균입니다. 평균값을 계산하려면 데이터를 모두 합한 후, 더한 수치의 수로 나눕니다. 이 예에서는 10명이 1개의 세션에 참가했고, 50명은 4개, 100명은 5개에 참가했음을 알 수 있습니다. 참가 세션 수와 인원 수 쌍을 서로 곱하고, 이 곱에서 나온 수치를 합하여 총 인원 수로 나눕니다.
중앙값은 평균의 또 다른 종류입니다. 중앙값은 중간에 있는 값, 즉 50% 지점을 뜻합니다. 위의 표에서는 500명이 세션 수의 왼쪽에 있고 다른 500명은 오른쪽에 있는 세션 수를 파악하고자 합니다. 이 경우 중앙값은 세션 7개입니다. 이렇게 하면 데이터에 부정적인 영향을 주는 이상치로부터의 영향을 제거할 수 있습니다.
마지막 종류의 평균은 최빈값입니다. 최빈값은 가장 빈번한 응답입니다. 여기서 최빈값은 6입니다. 왜냐하면 참가한 다른 세션 수보다 더 많은 260명의 설문조사 응답자들이 6개의 세션에 참가했기 때문입니다.
평균값과 다른 종류의 평균들은 결과가 리커트 척도에 기반하는 경우에도 사용될 수 있습니다.

결론 도출

설문조사 결과 보고에서는 데이터가 말하고자 하는 의미를 생각해야 합니다.
컨퍼런스가 전반적으로 그다지 좋지 않은 평가를 받았다고 가정하죠. 왜 그런 평가를 받게되었는지 좀 더 심층적으로 살펴보아야 합니다. 데이터를 살펴보면 세션, 수업, 사교 행사, 호텔 등 컨퍼런스의 모든 측면에서 참가자들이 매우 높은 등급을 주었으나 컨퍼런스가 열린 도시를 좋아하지 않았을 수도 있습니다. 예를 들어 겨울철 1월에 가장 추운 도시에서 컨퍼런스가 개최되어 참가자들이 밖으로 나가기에 너무 추웠을 수 있습니다. 바로 이러한 사항이 데이터가 전달하고자 하는 의미입니다. 컨퍼런스 자체는 매우 훌륭했으나 장소 면에서 좋지 않은 선택을 한 것입니다. 이러한 의미로부터 겨울에는 따뜻한 곳에서 컨퍼런스를 개최하는 개선점을 만들 수 있습니다.
데이터 분석 및 보고 요소들 중 고려해야 하는 한 가지는 인과관계와 상관관계입니다.

상관관계와 인과관계의 차이

인과관계란 한 가지 요소가 다른 요소의 원인이 되는 것이며 상관관계란 두 가지 변수가 함께 움직이지만 서로 영향을 미치거나 서로 다른 변수의 원인이 되지는 않습니다.

예를 들어, 겨울철에 핫초콜릿을 마시고 벙어리 장갑을 끼는 것은 상관관계가 있는 두 가지 변수입니다. 즉, 함께 상승되거나 함께 하락됩니다. 하지만 핫초콜릿과 벙어리 장갑이 서로의 원인이 되지는 않으며 둘 다 모두 추운 날씨인 제3의 요소가 원인이 됩니다. 추운 날씨는 핫초콜릿 수요와 벙어리 장값을 끼게 되는 확률을 모두 높입니다. 추운 날씨는 독립 변수이며 핫초콜릿 수요와 벙어리 장갑을 끼게 되는 확률은 종속 변수입니다. 여기서 설명한 컨퍼런스 의견 설문조사에서는 추운 날씨가 컨퍼런스가 열린 도시와 컨퍼런스 전반에서 참가자들의 불만족에 영향을 미쳤습니다. 최종적으로, 설문조사의 변수 간 관계를 더 심층적으로 조사하기 위해 회귀 분석을 실행해야 할 수도 있습니다.

회귀 분석

회귀 분석은 고급화된 데이터 분석 방법으로 두 가지 이상의 변수들 간의 관계를 연구할 수 있도록 해줍니다. 회귀 분석에는 여러 가지 종류가 있으며 설문조사 과학자가 선택하는 분석법은 검사하고자 하는 변수에 달려 있습니다. 하지만 모든 종류의 회귀 분석이 가지고 있는 공통점은 종속 변수에 미치는 한 가지 이상의 독립 변수의 영향을 파악한다는 것입니다. 설문조사 데이터 분석을 통해 세션 수, 기조연설자, 또는 사교 행사나 컨퍼런스 장소 등과 같이 컨퍼런스 참가자들의 만족도에 가장 큰 영향을 미치는 요소가 무엇인지를 알아보고자 할 수도 있습니다. 설문조사 과학자는 여기서 회귀 분석을 사용하여 컨퍼런스의 서로 다른 이러한 요소들이 전체적인 만족도에 영향을 미쳤는지와 어느 정도로 영향을 미쳤는지를 측정할 수 있습니다. 이러한 측정을 통해 다음 번 컨퍼런스에서는 어떤 면을 개선할 것인지를 알게 됩니다. 예를 들어, 오프닝 세션에 최고의 기조연설자를 고용하기 위해 매우 높은 사례금을 지불했다고 가정합시다. 참가자들이 이 연설자와 컨퍼런스에 전체적으로 높은 점수를 주었습니다. 이 두 가지만을 기반으로 하자면 비싸고 인기 있는 기조연설자를 고용하는 것이 컨퍼런스의 성공을 좌지우지한다고 결론을 내릴 수도 있습니다. 회귀 분석을 사용하여 이러한 결론이 정확한지를 알아볼 수 있습니다. 기조연설자의 인기도가 컨퍼런스 만족도를 결정 짓는 주요 요소였다는 사실을 발견하게 될 수 있습니다. 이런 경우엔, 내년에도 다시 최고의 기조연설자를 고용할 필요가 있습니다. 하지만 회귀 분석에서 참가자들이 연설자를 좋아는 했지만 이 사실이 참가자들의 만족도에 크게 영향을 미치지 않았다는 사실을 알게 되었습니다. 이런 경우엔 기조연설자 고용에 소요한 높은 지출 비용을 다른 곳에 사용해야 할 수 있습니다. 설문조사 데이터가 제시하는 의미를 신중하게 분석함으로써 답변을 사용하여 충분한 정보에 입각한 결정을 내리는 데 큰 도움을 받을 수 있습니다.

설문조사 응답률을 개선하기 위한 3가지 팁

다음은 응답자들이 설문에 답변하도록 보장할 수 있는 몇 가지 방법입니다.

1. 간단 명료성.

설문조사가 간단 명료하다면 더 많은 응답자들이 설문조사를 완료할 수 있는 가능성도 더 커집니다.

2. 인센티브 제공.

소액의 할인이나 경품 추천과 같은 작은 인센티브를 제공하면 응답자들이 설문조사를 완성할 확률도 높아집니다.

3. 대상 응답자 구매.

SurveyMonkey Audience(을)를 이용하여 설문조사의 특정 인구학적 기준을 충족하는 응답자에 대한 액세스를 구매할 수 있습니다. 이렇게 하면 특정 그룹으로부터 정확히 목적이 겨냥된 응답을 받을 수 있습니다.

수백만 명의 사람들이 SurveyMonkey를 믿고 사용하는 이유를 알아보세요.

무제한 설문조사

무료 서비스로도 설문조사와 퀴즈를 원하는 만큼 발송하세요.

신속한 답변

전문 설문조사를 간편하게 만들고 발송하세요. 신뢰성 있는 결과를 신속하게 받아보세요.

전문가 승인

설문조사 과학자들이 승인한, 미리 작성된 질문과 기본서식을 이용하세요.

실시간 결과

원하는 장치에서 언제 어디서나 결과를 확인하고 데이터를 받는 대로 동향을 파악하세요.

신선한 아이디어

설문조사를 통해 답변뿐만이 아니라 의견과 새로운 관점 등 더 많은 것들을 배우세요.

행동으로 옮길 수 있는 데이터

팀과 함께 데이터로부터 통찰력을 추출하고 공유하세요.