연구의 4가지 주요 편향 유형 및 이러한 편향이 설문조사에 영향을 미치지 않도록 하는 방법

편향은 모든 설문조사에 있어 치명적인 요소입니다. 설문조사 작성자들은 신뢰할 수 있는 결과를 확보하기 위해 설문조사에 편향이 생기기 않도록 보호해야 합니다. SurveyMonkey는 그동안 편향성이 없는 언어, 구조 및 스타일 등 서로 다른 유형의 연구 편향을 다루는 설문조사 디자인 모범 사례를 제공해 왔습니다. 하지만 신중을 기하지 않으면 자신도 모르는 사이에 편향이 발생할 수 있습니다.

서로 다른 연구 편향 유형들 중 다수는 설문조사 작성자들로부터 발생됩니다. 이 경우의 편향은 슬쩍 껴들어 오게 됩니다. 이는 원하는 결과를 확보하기 위해 노력을 기울이는 설문조사 작성자들이 초래하는 것으로 자기도 모르는 사이에 결과에 영향을 미치게 되며, 이로 인해 결과 자체의 신뢰성과 가치에까지 영향이 미치게 됩니다.

그렇다면, 이런 편향을 피할 수 있을까요?

물론이죠! 다음은 연구의 4가지 주요 편향 유형과 능동적으로 이를 피할 수 있는 설문조사 디자인 팁입니다.

올바르지 않은 질문을 하면 올바르지 않은 답변을 얻게 됩니다. 설문조사 결과는 설문조사가 다루는 사안의 전체 범위를 제대로 포착하지 못하는 올바르지 않은 질문으로 인해 쉽게 손상됩니다. 예를 들어, 어떤 종류의 김밥을 가장 선호하는지 직원들을 이해하기 위해 설문조사를 작성했습니다. 설문조사 질문에서 “김치 김밥, 치즈 김밥 또는 야채 김밥 중 어떤 김밥을 가장 좋아하시나요?”라고 물었습니다. 김밥에는 여러 가지 종류가 있지만 설문조사 작성 당시 생각나지 않았고, 이 김밥들은 설문조사에 포함되지 않았습니다. 이런 경우, 가장 선호되는 김밥이 무엇인지를 알아보기 보다는 이 세 가지 김밥들 간의 선호도를 측정하게 됩니다.

팁: 탐색적 연구는 질문들이 철저하며 초점을 잃지 않도록 하는 데 최고의 방법입니다. 소규모 그룹을 대상으로 먼저 주제에 대해 서술형 질문으로 설문조사를 수행하면 설문조사 주제의 범위에 대해 좀 더 나은 관점을 얻게 되며 응답자들에게 중요한 옵션을 간과할 가능성이 적어지게 됩니다. 또한, 유사한 설문조사를 검토하여 과거에 응답자들에게 어떤 분류와 주제가 인기 있었는지도 알아볼 수 있습니다.

응답자 그룹을 선택하는 것은 쉬운 작업으로 보이지만, 이는 흔히 선택 편향의 원인이 됩니다. 설문조사를 진행할 때는 설문조사 목표에 적합한 인구집단을 표적하는 것이 중요합니다. 참여자를 잘못된 방법으로 포함시키거나 배제하는 경우 왜곡된 데이터 결과를 얻게 됩니다.

이러한 편향은 명확하게 정의된 대상 인구집단이 없는 경우에 발생합니다. 예를 들어, 설문조사를 저소득층으로 제한하고자 합니다. 이 인구집단은 저소득 계층, 가처분 소득이 없는 계층, 또는 자산, 소득, 빛을 고려한 후 순자산이 낮은 계층 등 여러 가지 방법으로 정의될 수 있습니다. 이러한 각 계층에 대한 설명은 조사하고자 하는 인구집단을 광범위하게 나타낼 수 있지만 각 계층에 대한 정의는 연구에 다른 결과를 제공할 수 있습니다.

팁: 적절하지 않은 인구집단을 대상으로 설문조사를 진행하는 오류를 피하려면 프로젝트를 시작하기 전에 설문조사 목적을 충족하는 응답자 조건을 명확하게 정의해야 합니다. 이 단계는 설문조사 결과에 적절한 범위를 제공합니다. 또한, 인구집단에 대해 언급할 때는 보고서 및 연구 결과에서 구체적이어야 함을 기억하세요. 가난함, 부유함, 큼 또는 적음과 같은 광범위한 용어는 해석이 잘못되는 상황을 초래할 수 있습니다.

일부 설문조사 방법은 일부 응답자들에게 참여하는 것 자체를 어렵게 하거나 불가능하게 할 수도 있습니다. 예를 들어, 거리에서 걸어 다니는 중 마주치는 여느 통근자를 대상으로 설문조사를 진행한다면 자동차나 자전거를 이용하여 통근하는 사람들을 대표하는 표본을 얻지 못할 수도 있습니다. 이렇게 임의적이지 않은 방법으로 잠재 응답자를 배제하게 되면, 패널의 일부가 아니었던 사람들이 패널의 일부였던 사람들과 다른 의견을 가진 경우 설문조사에 편향을 초래하게 됩니다.

팁: 이러한 연구자 편향을 제한할 수 있는 최고의 방법은 모든 잠재적 응답자에게 설문조사에 참여할 수 있는 동등한 기회를 제공하는 것입니다. 위의 통근자 예에서는 설문조사 대상 도시에 거주하는 모든 사람들에게 온라인 설문조사를 보내거나 현지 업체에게 그 업체의 직원들에게 설문조사를 보내달라고 요청하는 것이 더 나은 방법일 수 있습니다.

이 유형의 편향은 원시 데이터가 해석이 잘못된 연구 결과로 전환되는 경우 발생합니다. 이는 대부분이 부적절하거나 부정확한 통계적 기법으로 인해 발생하며 이로 인해 설문조사 결과가 잘못 해석되는 상황이 발생합니다. 예를 들어, 편향은 설문조사 작성자가 설문조사 결과가 오직 적은 인원 수를 기반으로 했다는 사실을 간과한 채 설문조사 가설에 일치하는 사항을 발견하고 만족해 하는 것에서 발생할 수도 있습니다.

SurveyMonkey 표본 크기 계산기를 이용하여 설문조사 결과가 확정적인 결론을 내리는 데 필요한 표본 크기를 가지고 있는지 확인하세요.

팁: 이러한 유형의 편향은 정보를 수집한 후 나중에 데이터 분석 전략을 개발하는 것으로 발생합니다. 이 유형의 편향을 피하려면 데이터 분석 계획을 설문조사를 작성하기 전에 수립해 두어야 합니다. 그런 후, 그 분석 방법에 맞추어 적절하게 이용될 수 있는 질문을 작성합니다. 예를 들어, 결과를 정량화하고자 하는 경우 객관식 질문을 사용해야 합니다. 최종적으로, 설문조사 소프트웨어를 통해 사용할 수 있는 여러 가지 분석 도구를 검토해 보세요. 이로써 설문조사를 만들기도 전에 사용할 수 있거나 없는 분석 유형을 파악할 수 있게 됩니다.

이러한 네 가지 유형의 연구 편향을 피하는 것은 처음에는 어려운 작업입니다. 하지만 설문조사의 목적에 항상 충실하고 설문조사에서 다루고 있는 주제에 대해 확실하게 이해하고 있다면 이러한 각 연구 편향을 모두 쉽게 피할 수 있게 됩니다.

간략하게 요약하면, 설문조사를 시작하기 전에 계획을 세워야 합니다. 잠깐 시간을 내어 위에 언급된 네 가지 사항에 대해 생각해 보고 설문조사 계획이 이러한 사항들을 고려하고 있는지 살펴보세요. 그런 다음 연구 방법이 적절하다고 판단되면 신뢰성 있는 최종 결과를 확보할 수 있다고 자신해도 됩니다.