무응답 오류를 피하기 위한 5가지 방법

무응답 편향과 응답 편향 간의 차이점

모든 편향은 응답 편향과 무응답 편향의 두 가지 범주에 속합니다. 편향을 이해하려면 이 두 가지 범주에 대해 알아보고 두 가지 간의 차이점에 대해 이해해야 합니다.

응답 편향은 연구의 순 표본 그룹 변수의 참 가치와 동일한 연구의 결과에서 확보한 변수의 가치 간의 차이로 정의됩니다. 이는 응답 편향이 연구 내 그 어떠한 요소로부터도 초래되어서 표본에 있는 응답자들이 가진 실제 의견이나 사실과는 다른 결과가 확보되었다는 뜻입니다. 흔히, 이러한 유형의 편향은 정확하지 않은 응답을 제공하는 응답자들이나 잘못 기록되거나 잘못 분석된 응답에 의해 초래됩니다.

무응답 편향은 표본에 포함되어 있는 일부 응답자들이 답변하지 않을 때 발생합니다. 여기서 주요 차이점은 오류가 있는 데이터를 수집하는 것으로부터 오류가 초래되는 것이 아니라 응답자의 부재로 인해 초래된다는 것입니다. 좀 더 기술적인 용어로 얘기하자면, 편향은 원래의 표본 리스트(설문조사에 대한 초대장이 전송된 사람)의 참 평균 가치 및 순 표본(실지로 응답한 사람들)의 참 평균 가치 간의 변수입니다. 가장 일반적으로 이러한 유형의 편향은 참가에 거부하거나 일부 응답자들에게 연락을 취할 수 없어서 발생합니다.

블로그에서 이전에 편향과 오류에 대해 논의한 바와 같이, 편향의 일종으로 간주하기 위해서는 오류의 근원이 체계적인 특성이 있어야 합니다. 무응답 편향도 이에 대한 예외가 아닙니다. 설문조사 방법이나 디자인이 잠재적인 응답자들 중 특정 그룹이 참여하기를 거부하거나 설문조사 기간 중 현존하지 않을 가능성이 있게끔 작성된다면 이는 체계적인 편향을 만든 것입니다. 다음은 이에 대한 두 가지 예입니다.

1. 민감성 정보 묻기: 세금 납부 준수 상황을 측정하는 설문조사에 대새 생각해 보세요. 세금법을 제대로 지키지 않는 응답자들은 이러한 설문조사를 작성하는 것에 대해 상당히 거부감을 느끼게 되며 거절할 확률이 높습니다. 이런 경우의 설문조사는 당연하게도 원래의 표본보다 법규를 더 잘 준수하는 순 표본 쪽으로 편향이 생길 가능성이 높습니다. 법적으로 민감성 있는 정보를 묻는 설문조사의 무반응 편향은 설문조사가 정부나 기타 다른 규제 기관이 데이터를 수집하고 있다고 명시하는 경우 더욱 더 확연한 것으로 입증되었습니다!

2. 초대 문제: 많은 연구자들은 초대 사항을 미리 테스트하지 않음으로써 무응답 편향을 초래합니다. 예를 들어, 젊은 성인이나 비즈니스 분야의 근로자들은 이메일 대다수를 스마트폰을 통해 답변합니다. 설문조사 초대장이 모바일 장치에서는 잘 표시되지 않는 이메일로 제공된다면, 스마트폰 사용자의 응답률이 현저하게 감소하게 됩니다. 이런 경우, 사용자 인구통계정보의 의견을 제대로 나타내지 못하는 순 표본을 초래하게 됩니다.

무응답 편향은 완전히 제거하기에는 불가능하지만 가능한 최대한도로 피할 수 있는 몇 가지 방법은 있습니다. 물론 전문적이면서도 잘 구성되고 디자인된 설문조사를 진행하는 것은 물론 더 높은 완성률을 확보하는 데 도움이 되지만, 다음은 설문조사가 낮은 무응답 편향을 가질 수 있록 연구 절차를 조정할 수 있는 다섯 가지 방법입니다.

1. 설문조사 매개체를 미리 철저하게 테스트하기: 위의 예에서 살펴 본 바와 같이, 설문조사나 이에 대한 초대장이 잠재 응답자들이 사용할 수 있는 그 어떠한 매체나 장치 상에서도 원활하게 진행될 수 있는 것은 중요합니다. 설문조사 로딩 시간이 너무 길거나, 설문조사 질문이 스크린에 제대로 맞지 않거나, 사용하고 있는 장치에서 설문조사를 응답할 수 있도록 조작해야 한다면, 설문조사 응답 요청을 무시할 확률이 높습니다. 이때 취해야 할 최우선의 방법은 표본이 사용하고 있는 서로 다른 커뮤니케이션 소프트웨어 형식 및 장치를 인지하고 각각에 대해 설문조사와 초대장을 미리 테스트하여 설문조사가 모든 응답자들에게 원활하게 진행될 수 있음을 확인하는 것입니다.

2. 서두르거나 단기간의 데이터 수집 기간을 피할 것: 연구자들이 범하는 실수 중 최약의 실수는 마감 기한을 맞추기 위해 데이터 수집 시간을 제한하는 것입니다. 응답자들이 설문조사에 응답하는 시간에 유연성을 보이지 못하는 경우, 무응답 편향이 현저하게 증가됩니다. 하지만, 온라인 설문조사는 특정 시간에 완료되어야 하는 대면상의 인터뷰나 전화 인터뷰를 필요로 하지 않기 때문에 유연성을 가지고 있습니다. 하지만, 설문조사를 단지 몇 일간만 진행한다면 잠재 응답자들의 답변 가능성을 중대하게 제한할 수 있습니다. 대신, 참가자들이 자신들의 바쁜 일정 중 어느 날이나 선택할 수 있도록 설문조사 수집 기간을 최소한 약 2주 정도로 연장하는 것이 권장되는 방법입니다.

3. 잠재 응답자들에게 알림장을 보낼 것: 데이터 수집 기간 중 몇 개의 알림 이메일을 전송하면 완성된 응답을 더 많이 효과적으로 수집할 수 있는 것으로 입증되었습니다. 첫 번째 이메일은 수집 기간의 중간 지점에 보내고 두 번째 이메일은 수집 기간 종료 즈음에 보내는 것이 최선의 방법입니다. 다만, 이메일 목록에 있는 사람들 중 이미 설문조사를 완료한 응답자들은 괴롭히지 마세요!

4. 기밀성을 보장할 것: 개인적인 정보를 요청하는 일체의 설문조사는 수집된 데이터는 철저하게 기밀로 유지될 것을 응답자들에게 보장해야 합니다. 특히나 민감한 사안에 중점을 두는 설문조사에서는 더더욱 그렇게 해야 합니다. 초대장을 읽는 사람들이 자신들이 제공하는 정보는 전체 표본의 일부로서만 확인될 것이며 개별적으로 검토되지 않는다는 점을 반드시 이해하도록 해야 합니다.

5. 인센티브를 사용할 것: 대다수의 사람들은 질문에 답변을 할 시간이 없다고 느끼기 때문에 설문조사에 응답하지 않습니다. 설문조사에 사람들이 참여하도록 동기를 유발하려면 인센티브는 특히 필요합니다. 설문조사의 길이, 적절한 응답자(즉, 외다리의 15세기 수저 수집가)들을 찾는 데 대한 난이도, 물어지고 있는 정보 등에 따라 인센티브는 최소한의 가치에서 현저한 가치까지의 범주가 될 수 있습니다. 대부분의 응답자들은 연구에 크게 관심이 없으므로 설문조사에 시간을 할애할 가치가 있다고 느껴야 한다는 것을 유념하세요!

피드백을 받을 준비가 되셨나요? 다음 설문조사를 오늘 보내세요. →