콘셉트 테스트를 위한 최고의 가이드

Eric Van Susteren
콘텐츠 전략가

목차
────

이 통계에 대해 잠시 생각해보세요. 조사, 개발, 마케팅, 판매, 프로모션 이벤트 및 소비자가 실질적으로 필요하지 않거나 구매를 원하지 않은 제품을 위한 모든 다른 활동에 투입된 것들에 대해 생각해 보세요. 투자 대비 효과가 훨씬 더 높은 다른 곳에 사용할 수 있었던 시간과 돈을 낭비한 것입니다.

생각해 보면 사실 무척이나 속상하지만, 다른 관점에서 생각해볼 수도 있습니다.

단 한 번도 세상의 빛을 본 적이 없는 아이디어들에 대해 생각해 보세요. 충분한 자신감이 없었을 수도 있고, 상관이 그 아이디어를 별로 마음에 들어 하지 않았을 수도 있고, 그 아이디어가 성공적일 거라는 충분한 뒷받침 증거가 없었을 수도 있습니다.

다음은 많은 이들이 Wayne Gretzky, 일부는 Michael Jordan, 또 다른 소수는 Michael Scott에게 그 공을 돌리는 좀 더 비공식적인 데이터 포인트입니다.

시도하지 않은 슛은 100% 놓친 것이다.

그렇다고 Wayne이 아무 슛이나 마구 던진 것은 아닙니다. 퍽이 그의 하키 스틱에 맞아 떠나는 순간, 그는 이 퍽이 득점 기회가 될지를 충분히 예상할 수 있었습니다. 왜냐하면 그의 슛은 모두 계산된 것이고, 연습한 것이고, 테스트된 것이었기 때문입니다.

비즈니스의 세상에서는 그가 한 것처럼 여섯 번째 감각을 개발할 수 있는 슛을 언제고 충분히 연습할 기회도 없고 시간도 없지만, 바로 이때 콘셉트 테스트를 이용할 수 있습니다.

콘셉트 테스트란 시장에 제품이나 광고 캠페인과 같은 어떤 콘셉트를 내놓기 전에 이 콘셉트를 소비자가 어떻게 받아들을 것인지 평가하는 한 절차입니다. 다양한 콘셉트 테스트 방법이 존재하지만 여기서는 가장 일반적인 기법인 설문에 대해 다루어 보겠습니다.

콘셉트 테스트는 위에서 언급한 두 가지 문제를 모두 해결하는 데 도움이 됩니다.

핵심은 전문적이고, 철저하게 개발된 콘셉트 테스트 시스템을 구현하면 비용을 현저하게 절약할 수 있다는 점입니다.

시작 단계부터 완료까지 콘셉트 테스트 프로그램을 만들고 실행하는 방법을 알려드리겠습니다. 또한, 따라 할 수 있는 예시도 보여드립니다.

이 가이드 전체에 걸쳐, 가상의 애완동물 사료 제조 회사가 이름, 로고, 광고를 선택할 수 있도록 저희가 만든 콘셉트 테스트의 여러 가지 예를 보여드립니다. 여기서 보는 결과는 연중무휴 운영하는 시장 조사 솔루션인 SurveyMonkey Audience 글로벌 패널 응답자가 제공한 실질적인 피드백입니다.

이 가이드에 이용하는 방법은 제품 개발, 포장 테스트 및 메시지 등의 여러 가지 사용 사례에 적용할 수 있습니다. 이 문서에서는 이름 테스트, 로고 테스트와 광고 테스트의 세 가지 주요 사용 사례에 중점을 둡니다.

이 가이드에서 콘셉트 테스트의 모든 것을 파악하게 되면서, 예를 위해 저희가 만들어둔 설문을 따라 직접 사용해 보고 어떻게 자신만의 설문을 진행할 수 있는지에 대해 배우게 됩니다. 또한, 시작하기 전에 SurveyMonkey가 콘셉트 테스트 설문을 더욱 수월하게 구축하고 분석할 수 있는 전문가 솔루션을 갖추어 많은 수고를 들이지 않고도 지정 대상으로부터 신속하면서도 신뢰할 수 있는 결과를 더 수월하게 받을 수 있다는 것도 기억해 주세요.

이 가이드에서 배우게 되는 콘셉트 테스트 원칙의 진정한 장점은 프로젝트 그 어느 단계에서도 다양한 목적을 위해 사용할 수 있다는 것입니다. 그저 초점을 조금만 더 맞추기만 하면 됩니다.

설문 디자인에 대해 생각해 보기도 전에 첫 번째 단계에서는 항상 목표를 정하는 것이어야 합니다. 테스트의 특성은 무엇이든 간에 목표로 인해 변할 수 있기 때문에 가능한 구체적이어야 합니다. 훌륭한 설문 목표는 다음과 같은 3가지 특정 사항에 대한 답을 제공할 수 있습니다.

밑에 있는 애완동물 사료 포장 디자인을 보세요. 디자인 콘셉트 테스트 목표는 단순히 ‘좋은 디자인’이 될 수는 없습니다. 위에 명시한 세 가지 사항에 대해 분명한 답을 제공할 수 있는 구체적인 목표가 필요합니다.

애완동물 사료 포장 디자인에 피드백을 받고 싶습니다.

애완동물 주인이 이 포장 디자인으로 인해 이 애완동물 사료를 구매하게 만드는지 알고 싶습니다. 또한, 이 디자인이 제품이 고품질이라는 것을 보여주는지 알고 싶습니다. 그 결과에 따라 디자인을 그대로 사용하거나 다시 디자인해야 하는지 결정할 수 있습니다.

대부분의 사람은 테스트하고 싶은 아이디어가 무엇인지는 알고 있지만, 그러한 아이디어를 특정한 목표로 바꾸는 추가 작업을 하지 않습니다. 이 추가 작업을 완료하면 테스트에 좀 더 초점을 줄뿐더러, 궁극적으로는 테스트 구축이 훨씬 더 쉽고, 결과의 품질도 향상됩니다.

이들이 이 제품의 예상 고객이기 때문에 대상으로 지정했습니다.

광고를 하나만 테스트하지만, 이 데이터로 디자인이 실패하거나 성공할 수 있기 때문에 높은 수준의 확신을 가지고 싶습니다.

좁은 범위의 목표를 가진 단 한 개의 콘셉트이기 때문에 작성하고 응답을 수집하기에 상대적으로 신속하면서도 수월한 설문입니다.

질문하려는 것이 무엇인지 이미 알고 있습니다: 제품의 구매 의향, 품질, 호소력, 가치입니다. 목표를 작성하는 데 시간을 사용하면서 목표도 자연스럽게 작성되었습니다!

저희 테스트의 목적을 정확하게 따라 절차를 거침으로써 효과적인 결과를 보게 되었습니다: 대부분의 계획 및 토대가 되는 작업은 이미 완료되었습니다. 이런 이유로 인해 목표를 개발하는 것은 콘셉트 테스트를 계획하는 데 중요한 것입니다.

이제 목표를 정했으므로, 어떤 유형의 콘셉트 테스트를 구축하고 언제 테스트를 진행할지에 대해 생각해 봐야 할 때입니다. 테스트 시기는 무엇을 테스트하고 있는지, 그리고 제품의 수명 주기가 어느 부분인지에 따라 다릅니다.

위의 그래픽은 언제 콘셉트 테스트를 수행해야 하는지를 고려하는 데 유용한 가이드가 될 수 있지만, 콘셉트 테스트의 장점은 유연성이 있다는 점입니다.

절차의 초반에서는 광범위하면서도 방향을 알려주는 설문의 피드백을 통해 콘셉트가 올바른 방향으로 향하고 있는지를 알아볼 수 있습니다. 또는, 매우 구체적인 피드백을 이용하여 색, 글꼴, 광고나 로고의 테마 등과 같은 사항들을 비교하고 조정하는, 세분된 변경 사항을 콘셉트에 일일 적용할 수 있습니다. 콘셉트, 로고 또는 광고 등에 대해 이상적으로는 여러 버전을 테스트할 수 있습니다.

대다수의 콘셉트 테스트는 작업 절차 중 큰 중요성을 띠며 이를 수행하는 것이 얼마나 효과적일지 또는 어떤 테스트가 가장 적절한지를 결정해야 합니다.

테스트의 각 유형은 서로 다른 기능을 가지고 있으며, 다양한 수준의 노력이 필요하므로 프로젝트의 일정 내에서 확실히 구분된 단계에 수행하는 것이 가장 적절합니다.

아래의 차트를 보세요. 수행하는 콘셉트 테스트의 유형, 테스트 진행 시기에 따라 프로젝트의 일정에 큰 영향을 미치는 것을 볼 수 있습니다. 여기에 대해서는 나중에 더 자세하게 다루겠지만, 이 차트를 참고로 삼아 프로젝트를 완수하기까지 충분한 시간을 가질 수 있도록 하는 것은 좋은 방법입니다.

콘셉트 테스트는 핵심적으로는 자극 요인을 중점으로 이루어집니다. 자극 요인이 무엇일까요? 이 용어는 테스트하려는 개별적인 콘셉트, 광고, 이름 또는 포장 등에 대한 전문적 시장 조사 용어입니다. 콘셉트 A를 콘셉트 B에 견주어서 테스트를 하고 있다면 두 개 모두 자극 요인입니다. 자극 요인은 다음과 같은 세 가지 종류로 나뉩니다.

자극 요인을 항상 일관성 있고 일목요연하게 제시하는 것은 중요합니다. 이렇게 하는 것이 단지 더 전문성이 있어 보여서가 아니라 응답자들에게 선입견을 제시하지 않기 위해 모든 예방책을 써야 하기 때문입니다.

다음은 각 자극 요인 형식을 전문가들처럼 제시할 수 있는 몇 가지 팁과 예입니다.

저희 애완동물 사료 회사 이름 설문은 설문에서 텍스트 자극 요인을 효과적으로 제시합니다. 어떤 면이 효과적이었을까요?

위의 예에서는 ‘GoodBoy‘가 거론되고 있음을 수월하게 알 수 있습니다. 질문이 ‘GoodBoy’를 포함하지 않았다면 질문이 어떤 이름에 대해 묻고 있는지를 알 수 없습니다.

저희 애완동물 사료 광고 테스트 설문 또는 로고 테스트 설문 한 예로 살펴보세요.

중요 사항: 이러한 예에서는 자극 요인 이미지를 설문 페이지의 상단에 포함했으며 각 질문에서 참조했습니다. SurveyMonkey를 이용하여 이러한 접근법을 사용한다면 한 번에 한 개씩 질문 표시 기능을 반드시 비활성화하세요. 이렇게 하면 응답자들이 이미지와 자신이 대답하고 있는 질문 사이에 전환하기가 훨씬 더 수월해집니다.

다른 자극 요인과 달리, 동영상은 설문에 포함하기 전에 어딘가에서 호스팅해야 할 곳이 필요합니다. 다행히도, YouTube와 같은 사이트는 동영상 호스팅 절차를 상당히 간편하게 만듭니다.

아직 공개되지 않은 동영상이 있거나 개인정보보호가 걱정된다면, Vimeo 등의 일부 호스팅 사이트는 좀 더 고급 개인정보보호 옵션이 있어 필요에 좀 더 적합할 수도 있습니다.

잠시 멈추고 프로젝트 계획과 자극 요인이 일치하는지 확인하세요.

계획을 세우는 작업은 모두 헛된 것은 아닙니다! 테스트하려는 자극 요인을 파악한 후엔 작성한 계획으로 다시 돌아가 보는 것이 중요합니다. 테스트하려는 자극 요인이 목표와 실질적으로 일치합니까?

공평한 테스트가 될까요? 디자인을 완료한 광고를 대략 디자인한 광고와 비교한다면 어떤 광고가 더 좋은 반응을 받을지는 이미 알고 있습니다.

자극 요인은 콘셉트 테스트의 근본적 요소이지만 자극 요인에 대해 묻는 질문도 그만큼이나 중요합니다. 콘셉트 테스트에서의 질문은 메트릭에 의해 결정됩니다. 이 메트릭은 응답자들이 자극 요인을 판단하는 데 사용하는 기준입니다.

1장을 읽으셨다면, 콘셉트 테스트의 계획 단계에서 목표를 설정하는 것이 얼마나 중요한지를 이미 알고 있을 것입니다. 바로 이 부분이 그 가치를 발휘하는 부분입니다. 콘셉트 테스트의 메트릭은 완전히 목표에 달려 있습니다.

명확하게 수립한 목표가 있다면, 이 섹션은 매우 쉬울 것입니다. 명확하게 수립한 목표가 없다면, 어렵게 됩니다. 목표로 돌아가 다음의 표와 비교해 보세요.

어느 메트릭이 프로젝트 목표와 가장 잘 일치합니까? 적어 두세요. 여러 가지여도 괜찮습니다.

두 가지 광고 콘셉트의 효과성을 비교하는 것이 목표라면, 효과적인 메트릭은 구매 의향, 연관성, 독창성, 감정 등일 수 있습니다.

로고가 눈에 띄는지를 알아보는 것이 목표라면, 가시성, 미적 아름다움, 찾기 용이성, 독창성 등에 대해 질문하세요.

이 부분에서 최종 결과를 상사에게 제시하고 있는 상황을 상상해 보면 도움이 됩니다. 내가 상사에게 제시한 콘셉트가 최고이며, 가장 철저하게 테스트된 버전이란 것을 어떤 증거 자료가 설득할 수 있을까요?

앞서 설문의 각 자극 요인을 일관성 있으며 공정하게 제시하는 것이 얼마나 중요한지에 대해 언급했습니다. 똑같은 원칙이 질문에도 적용됩니다!

자극 요인을 평가할 때 편리하게, 5점형 리커트 척도를 사용하실 것을 권장합니다. 콘셉트 테스트가 처음인 경우는 특히나 그렇습니다. 리커트 척도 질문은 폐쇄형 질문들로 예를 들어, ‘강력하게 동의함’으로부터 ‘강력하게 동의하지 않음‘까지 범위의 보기를 제공합니다.

왜 리커트 척도를 사용할까요? 이 척도는 분석하기 쉽고, 일관성이 있는 보기를 제공하며, 응답자들에게 간단하면서도 직관적입니다.

가장 중요하게는, 리커트 척도는 보기에 대해 일관성 있는 로직을 부여하여 메트릭 적용을 쉽게 해주고, 효과성 있는 콘셉트 테스트 질문을 작성할 수 있게 해줍니다. 예를 들어, 원하는 메트릭이 ‘독창성’이라고 가정합시다.

이것을 리커트 척도 질문 템플릿에 다음처럼 적용해 보세요.

이 자극 요인은 얼마나 _____합니까?

A. 매우 _____
B. 아주 _____
C. 어느 정도 _____
D. 별로 _____ 않음
E. 전혀 _____ 않음

결과는 완료된 질문입니다.

로고가 얼마나 독창성이 있습니까?

A. 매우 독창적
B. 아주 독창적
C. 어느 정도 독창적
D. 별로 독창적이지 않음
E. 전혀 독창적이지 않음

이 기법을 사용하면 원하는 메트릭을 유용한 콘셉트 테스트 질문으로 수월하게 변경할 수 있습니다. 이보다 더 수월하게 만들고 싶으면, SurveyMonkey 질문 은행으로부터 위의 그래프에 거의 모든 메트릭을 반영하는 질문을 준비해 두었습니다.

전문가 팁: SurveyMonkey Audience와 같은 설문 패널로부터 설문 응답을 구매한다면, 필수 설문 질문을 사용하는 것이 일반적으로 효과적인 방법입니다. 이런 방식으로 모든 질문에 대한 응답을 확실히 받아볼 수 있게 됩니다.

목표를 정했고, 자극 요인도 적절하고, 메트릭은 효과적인 설문 질문으로 만드셨습니다. 이제 콘셉트 테스트 설문을 작성할 때입니다! 좋은 소식은 이미 필요한 모든 요소를 갖추셨다는 점입니다. 이 모든 요소를 일관성 있는 설문 디자인으로 배치하기만 하면 됩니다.

다음은 저희가 권장하는 일반적인 설문 디자인입니다. 질문의 각 유형과 이 가이드 전반에 걸쳐 어떻게 사용해야 하는지에 대해서 상세 정보를 다루어 보도록 하겠습니다.

항상 그러하듯, 설문 디자인은 자극 요인과 질문을 이미 윤곽이 잡혀 있는 흐름에 적용하는 것보다는 약간 더 복잡합니다. 설문 디자인에 영향을 미치는 주요 요인에는 두 가지가 있습니다: 테스팅하고 있는 자극 요인 수와 순차적(sequential) 또는 모나딕(monadic) 설문 디자인입니다. 이 각각의 요소를 살펴보겠습니다.

순차적(Sequential) 및 모나딕(monadic) 설문 디자인은 설문 대상에게 자극 요인을 제시하는 두 가지 주요 방법입니다. 각각 고유의 장단점이 있지만 둘 다 콘셉트 테스트 설문에 있어 매우 중요한 역할을 합니다. 다음은 각 설문 디자인 유형이 무엇인지 쉽게 설명한 그래픽입니다.

언제 어떤 유형의 설문 디자인을 사용해야 하는지에 대해 자세한 자료를 작성했으며 다음은 그 요점입니다.

모나딕(monadic) 설문 디자인에서는 응답 대상을 나누어 각 하위 그룹에게 서로 다른 자극 요인을 보여줍니다. 이 응답자들은 동일한 응답자 그룹에서 나누어졌으므로 이들의 응답을 서로와 공평하게 비교할 수 있으며 이 그룹으로부터 ‘성공적인‘ 자극 요인을 선택할 수 있습니다.

순차적(sequential) 설문 디자인에서는 응답 대상을 선택하고 자극 요인 일부 또는 전체를 보여줍니다. 이러한 자극 요인은 무작위 순서로 제시되기 때문에 응답을 서로 공평하게 비교할 수 있으며 ‘성공적인‘ 자극 요인을 선택할 수도 있게 됩니다. 다음은 각 설문 유형에 대한 장단점을 간략하게 소개한 것입니다.

장점:

단점:

장점:

단점:

선택하는 설문 유형에 관련된 요소들에 대해 나중에 더 자세히 다루겠습니다. 하지만 지금은 이 두 가지의 차이점에 대해 이해하는 것이 중요합니다.

순차적 또는 모나딕 설문 중 어느 것을 선택하든, 질문 수가 절대로 30개를 초과하지 않는 것이 좋습니다. 30개가 넘으면 응답자들에게 불필요한 부담을 주게 되며 이로 인해 응답자들이 중도에 설문을 포기하고 데이터에 손상이 발생합니다.

이 수는 상당히 많은 것처럼 보이지만, 제시하고 싶은 자극 요인이 여러 개이고, 각각에 대한 여러 가지의 질문과, 응답자 선별 질문 및 인구 통계 질문까지 합한다면 쉽게 이 수에 도달하게 됩니다.

다음과 같은 통상적 원칙을 따를 수 있습니다.

테스트하려는 자극 요인의 수를 각각의 메트릭 질문의 수로 곱한 값이 반드시 25이하여야 합니다. 그렇게 함으로써 설문에 다른 유형의 질문을 포함할 수 있는 여유가 있도록 할 수 있습니다.

설문에 있는 질문 수가 30개가 아니어도 걱정하지 마세요!

십여 개의 질문의 집중하는 설문이 30개에 가까운 질문의 설문보다 더 효과적일 수 있습니다.

모나딕 및 순차적 설문 디자인이 설문의 길이를 변경할 수는 있지만, 이 섹션 시작 부분에 설명한 전체적인 설문 디자인에는 큰 영향을 미치지 않습니다. 각 섹션 및 그 질문 유형을 살펴보겠습니다.

응답자들이 질문에 응답하기 전에 설문이 실행하는 이유와 설문에 어떤 내용이 있는지를 알려주는 것은 좋은 생각입니다. 또한, 이 기회를 이용하여 포함하고 싶은 추가 지침이나 공지 사항에 대해 알릴 수도 있습니다. 다음과 같은 예를 사용해볼 수 있습니다.

저희 애완동물 사료 회사의 3가지 광고 콘셉트에 대해 여러분의 의견을 알아보고자 합니다. 맞거나 틀린 답은 없습니다. 여러분의 답변은 모두 기밀로 유지됩니다.

해야 할 것

순차적 디자인을 사용하는 경우, 응답자들이 다수의 자극 요인을 보게 될 거라는 것을 알려주세요. 이는 비뚤림과 설문 피로를 예방할 수 있는 좋은 방법입니다.

소개는 간결명료하게 유지합니다. 소개가 길면 응답자들이 부담스러워할 수 있습니다.

하지 말아야 하는 것

설문이 얼마나 걸리는지 대해 장황하게 설명하지 마세요. 설문 응답자들에게 설문 길이에 대해 경고해야 한다고 느낀다면 설문이 이미 너무 길을 수 있습니다.

SurveyMonkey Audience와 같은 대부분의 패널 솔루션은 대상 지정 매개 변수가 있어 콘셉트의 잠재적 소비자를 그대로 반영할 수 있는 대상 그룹을 제공합니다. 하지만 좀 더 일반적인 대상 그룹을 상대로 설문을 진행하거나 이러한 대상 지정 매개 변수보다 더 심도 있게 진행하려 한다면 선별 질문을 사용할 수 있습니다.

선별 질문은 설문의 시작 부분에 대상 지정 기준에 부합하지 않는 응답자들을 부적격 처리하는 질문입니다.

예를 들어, 애완동물 주인을 표본으로 설문을 진행하지만 사실은 애완동물 사료를 온라인으로 구매한 적이 있는 애완동물 주인을 표본으로 삼아야 합니다. 이런 경우, 선별 질문을 이용하여 온라인으로 애완동물 사료를 구매하지 않는 애완동물 주인을 배제할 수 있습니다.

해야 할 것

선별 질문을 사용하여 더 좁은 범위의 인계 통계적 그룹에 도달하는 것이 얼마나 중요할지 깊이 생각하세요. 설문에 응답하는 응답자가 더 찾기 어려워지거나 프로젝트 일정을 지연시킬 수도 있습니다.

하면 안 되는 것

너무 구체적인 선별 질문은 하지 마세요. 예를 들어, 지난주에 애완동물 사료를 구매한 주인을 찾는 것은 작년에 구매한 주인보다 찾기가 훨씬 더 어려울 수 있습니다.

범주 질문은 대부분 선별 질문 바로 다음에 위치하며 응답자들을 부적격 처리하지 않고 응답자들에 대해 이해할 수 있게 도와주도록 디자인합니다. 다음은 선별 질문과 범주 질문을 사용하는 방법에 대한 예입니다.

선별 질문: 온라인으로 얼마나 자주 애완동물 사료를 구매하십니까?
범주 질문: 다음 중 어느 웹사이트를 이용하여 애완동물 사료를 구매하십니까? 어떤 애완동물 사료 브랜드를 구매하십니까?

해야 할 것

설문 시작에 범주 질문을 추가하세요. 응답자들이 자극 요인을 보기 전에 설문의 주제에 대해 생각하게 하여 응답자들을 ‘준비시킬 수’ 있습니다.

범주 질문은 주제에 초점을 두도록 해야 합니다. 설문의 목적과는 연관성이 없는 질문은 설문 마지막의 인구 통계 질문으로 포함합니다.

하면 안 되는 것

너무 많은 범주 질문을 추가하지 않도록 합니다. 가장 중요한 설문 부분인 자극 요인의 피드백을 받는 데 방해가 될 수 있습니다.

이 부분은 앞서 살펴보았지만 설문의 가장 중요한 핵심입니다. 바로 이 부분에서 콘셉트가 어떻게 보이는지를 파악하는 중요한 메트릭을 측정하게 됩니다. 또한, 어떤 설문 디자인 유형을 사용하느냐에 따라서, 설문의 가장 긴 섹션이 될 수도 있습니다.

해야 할 것

각 자극 요인을 각각의 페이지에 배치하고 페이지 순서를 무작위화합니다. 이런 방법은 가장 효과적이고도 가장 일반적인 콘셉트 테스트 설문 디자인입니다. 이러한 디자인은 응답자들이 첫 번째로 보는 자극 요인에 더욱 호감을 보이는 경향이 있는 첫인상 편향을 방지하는 데 도움을 줍니다.

동일한 메트릭에 대해 일관성을 위해 각 페이지에서 똑같은 순서로 질문합니다. 이렇게 하는 것은 응답자들에게는 더욱더 직관적일 뿐더러 더 일관성 있는 데이터도 확보할 수 있게 됩니다.

하면 안 되는 것

리커트 척도의 보기를 표시하는 방법을 무작위화하지 마세요. 긍정적에서 부정적까지 또는 부정적에서 긍정적까지 보기의 순서를 정하고 이를 설문 전반에 걸쳐 지키는 것이 가장 효과적입니다.

일반적 애완동물 사료 사용자들은 어떤 로고가 사용되는지에 그렇게 많은 관심이 없을 수도 있습니다. 충분한 가능한 경우입니다. 마지막의 필수 선택식 질문으로 이러한 상황에서 벗어날 수 있습니다.

응답자들이 자극 요인에 반응하는 정도에 통계적으로 유의미한 차이가 없다면 응답자들이 마음에 드는 것을 고르도록 만드는 것은 좋은 방법입니다. 또한, 응답자들이 두 가지 메트릭에 대해 동일하게 반응했고 이로 인해 어떤 것이 더 중요한지를 선택할 수 없다면 이러한 질문으로 어느 하나를 선택할 수 있게 됩니다. 예를 들어, 응답자들이 콘셉트 A는 매우 신뢰성이 있지만 콘셉트 B도 그만큼이나 독특하다고 생각한다면 어떻게 해야 할까요? 가장 마음에 드는 것을 선택하라고 하는 것이 최종 결정을 내리는 완벽한 방법이 될 수 있습니다.

해야 할 것

말 대신 이미지를 보기로 사용하는 것을 고려해  (예에서 보이는 바와 같이) 보세요. 응답자들이 자신이 좋아하는 것을 선택하기에 훨씬 더 간단하면서도 직관적인 방법입니다.

하면 안 되는 것

응답자들에게 선호하는 순서대로 보기에 순위를 매기라고 묻는 순위형 질문을 이용하지 마세요. 이러한 방법은 응답자들이 주의를 집중하기 어려우며 모바일 기기에서 응답하기에도 수월하지 않습니다.

범주 질문과 유사하게, 인구 통계 질문을 이용하여 설문 패널이 제공하는 것보다 좀 더 자세한 프로필 정보를 구할 수 있습니다. 인구 통계 질문은 설문의 주제와 연관될 필요는 없으며 주로 설문 끝에 나옵니다. 데이터를 필터링하는 데 매우 유용한 도구입니다.

은퇴한 여성이 회사의 애완동물 사료를 더 선호할지를 알고 싶으세요? 인구 통계 질문에서 고용 상태에 대해 묻고 질문 및 답변으로 필터링하여 은퇴한 여성이 어떻게 답변했는지 살펴보세요.

해야 할 것

인구 통계 질문에 조사에 필요한 사항을 충족하는 적절한 보기가 있는지 확인하세요. 밀레니얼 세대와 베이비부머 세대의 응답을 구분하려 한다면 보기에는 올바른 연령 범위가 포함되어 있어야 합니다.

SurveyMonkey 질문 은행에 있는 인구 통계 질문을 이용하세요. 질문은 설문 전문가가 작성했으며 인구 통계 질문의 가장 일반적인 대부분의 영역을 다룹니다.

하면 안 되는 것

인구 통계 질문을 반복하지 마세요. SurveyMonkey Audience와 같은 설문 패널에는 이미 이러한 프로필 질문을 이미 답변했습니다.

저희 설문 전문가들이 특히 가장 인기 있는 콘셉트 테스트 사용 사례를 위해 설문 템플릿을 디자인했습니다. 이러한 템플릿을 이용해 아이디어를 얻어 보거나 원하는 대로 콘셉트 테스트 설문을 만들어서 시작해 보세요!

설문을 보내는 대상과 설문의 엄격성은 무엇을 테스트하느냐에 따라 달라집니다.

이 가이드의 계획 섹션에서 언급한 것처럼 모든 콘셉트 테스트가 세밀하게 다듬어지고 대상 그룹이 필요한 것은 아닙니다. 그렇지만 일부는 반드시 대상 그룹이 필요합니다. 콘셉트 테스트 설문을 위해 표본으로 삼게 될 넓은 범위의 세 가지 그룹을 살펴보도록 합시다.

솔직히 얘기하자면 이들이 많은 인원을 대표하는 표본을 삼어서는 안됩니다. 통계적인 유의성도 없을 것이고, 다음번 전략 회의에서 이런 정보를 제시할 수도 없을 것입니다. 하지만 프로젝트 초반에 알고 있는 사람들로부터 피드백을 받는 데는 중요한 가치가 있습니다. 즉, 아무런 비용도 소요되지 않습니다. 다음은 언제 이 그룹에게 설문을 보낼 수 있는지에 대한 예입니다.

고객은 설문에 또 다른 중요하면서도 무료로 이용할 수 있는 표본이 될 수 있습니다. 하지만 설문에 포함하는 내용과 이를 제시하는 방법에 대해 신중성을 기울여야 합니다. 기존의 고객을 상대로 설문을 진행하는 진정한 가치는 제품, 웹사이트, 브랜드 등과 같이 고객들이 이미 익숙해져 있는 무언가에 대해 피드백을 수집한다는 것입니다.

고객을 상대로 설문을 하면 고객이 개발 과정의 일부가 된 것을 느끼게 해주고 이로써 고객 충성도를 높일 수 있습니다.

대다수의 경우, 특히 광고와 콘셉트 테스트 또는 최신 제품 등의 경우에는 시장을 샘플링하는 것은 매우 중요합니다. 고객, 소비자 또는 시청자를 그대로 반영하는 그룹으로부터의 피드백이 필요합니다. 다음은 대상 지정 매개 변수가 있는, 신뢰하는 설문 패널이 사용되는 예입니다.

설문 패널에 설문을 보내기로 했다면, 다음으로 가장 중요한 단계는 얼마나 많은 사람에게 설문을 보내느냐를 결정하는 것입니다. 설문의 표본 크기는 결과에 현저한 영향을 미칠 수 있기 때문에 충분히 생각할만한 가치가 있습니다. 표본 크기에 영향을 미치는 데는 4개의 주요 요소가 있으며 결정을 내리기 전에 각각의 요소를 고려해 봐야 합니다.

오차 한계 또는 신뢰 구간은 결과가 전체를 대변하기 위해 샘플링하는 모집단으로부터 얼마나 다를지에 대한 기대치를 알려줍니다. 결과적으로는 설문 결과의 대표성에 얼마나 자신감을 가질 수 있는지를 알려주는 것입니다. 예를 들어, 5%의 오차 한계에 60%의 응답자가 콘셉트 A를 더 좋아했다고 한다면 실질적인 가치는 55%~65%가 됩니다.

낮은 오차 한계를 가지는 것은 결과의 타당성에 있어 중요하지만, 표본 크기에 큰 영향을 미칠 수 있습니다.

애완동물 사료를 예를 들어 설명하겠습니다. 미국 내 약 8천5백만 가구가 애완동물을 소유하고 있습니다. 설문이 대표하기 원하는 인구를 대략 대표한다고 가정합시다. 95%의 신뢰 구간(표본이 대상 인구를 정확하게 대표할 수 있는 가능성)과 5% 오차 한계에서 이 그룹의 대표가 되는 표본을 원한다면 385명의 애완동물 주인에게 설문을 보내야 합니다. 오차 한계가 3%이길 원한다면 표본 크기는 1,068명으로 올라가게 됩니다.

이 내용이 너무 복잡한 것처럼 들려도 걱정하지 마세요! 샘플링하고 있는 전반적인 모집단의 크기를 추정하고, 편안하게 느껴지는 오차 한계와 신뢰 구간을 결정한 후(일반적으로 각각 5%와 95%가 가장 안전), 이 표본 크기 계산기 또는 이 오차 한계 계산기를 사용하여 표본 크기를 알아내기만 하면 됩니다. 아직도 더 많이 알아보고 싶다면 계산기 페이지에도 여기에 대해 설명하는 많은 정보를 다루고 있습니다. 하지만 신속하고 요령만 챙겨 놓은 정보를 원하시나요?

콘셉트 테스트를 어떻게 디자인하느냐에 따라 설문 대상 수에 큰 영향을 미칩니다. 앞서 나왔던 섹션의 예를 이용하여 결과에 신뢰성을 가지려면 385명의 애완동물 주인이 필요하다고 가정합시다.

모나딕 및 순차적 설문 비교 디자인에 대한 이전 섹션에 대해 생각해 봅시다. 순차적 테스트를 진행한다면 모든 응답자가 모든 자극 요인을 봐야하며 필요한 건 385개의 응답일 뿐입니다. 모다딕 디자인을 이용한다면 385명의 응답자가 테스트에서 모든 자극 요인을 봐야 합니다. 이는 곧 6개의 자극 요인이 있고 모나딕 설문 디자인을 선택했다면 2,310명의 응답자(한 자극 요인당 385명)가 필요합니다.

모나딕 설문 디자인은 표본 크기를 순식간에 커지게 하지만 큰 장점도 있습니다. 예를 들어, 2분 길이의 동영상 광고 6개를 테스트할 땐 순차적 설문 디자인을 사용하는 것은 바람직하지 않습니다. 왜냐하면 응답자들이 동영상을 보는 데 12분을 소요해야 하고 이 12분은 실질적으로 설문에 응답하는 시간이 고려된 길이도 아닙니다!

더 한정된 모집단을 대상으로 지정할수록 좋은 표본 크기를 확보할 만큼의 충분한 대상 수를 구하기 어려워집니다. 예를 들어, 중소득층의 여성 애완동물 주인을 대상으로 지정하길 원한다면 응답자를 찾는 것은 그다지 어렵지 않을 것입니다. 하지만 이 기준 외에도 캘리포니아주에 있는 포메라니안 주인을 원한다면 충분한 수의 응답자를 확보하지 못할 수도 있습니다.

원하는 추가적인 정보는 인구 통계 질문에서 묻고, 그 후 필터를 사용하여 해당 응답자들이 어떻게 답변했는지를 보는 것이 훨씬 효과적인 방법입니다.

위의 예에서는 중소득층의 여성 애완동물 주인을 대상으로 지정하고, 어느 주에 살고 있는지와 어떤 종류의 개를 기르고 있는지를 묻습니다. 결과가 모두 확보되면 필터를 사용하여 이 한정된 그룹이 어떻게 응답했는지를 볼 수 있습니다.

결과적으로는, 프로젝트는 항상 예산에 맞추어 진행됩니다. 진행하길 원했던 콘셉트 테스트를 위한 예산이 없다고 하더라도 테스트를 진행하는 것은 그만한 가치가 있습니다. 예산이 허락하는 범위 내에서 진행하세요. 데이터는 아주 조금이더라도 아예 없는 것보다는 더 낫습니다.

일반적으로 설문을 진행하는 시점을 너무 걱정하실 필요는 없습니다. 하지만 다음은 따르면 도움이 될 몇 가지 모범 사례입니다.

저희는 응답률이 명절을 주변으로 떨어지지는 않는다는 것을 발견했습니다. 아마 모두가 일하지 않고 집에 머물고 있기 때문일 수도 있습니다. 하지만 테스트하려는 콘셉트가 특정 계절과 관련되어 있다면 응답률에서 차이가 나는 것을 발견하게 됩니다.

예를 들어, 아이스크림 제품 구매 의향은 차가운 겨울철에 진행하는 설문이 무더운 한여름에 진행하는 설문에 비해 훨씬 더 낮게 나타날 것입니다. 데이터에서 이러한 차이를 보게 된다는 기대는 해야 합니다. 그리고 저희도 이러한 경험을 꽤 많이 했습니다.

이러한 종류의 문제로 인해 곤란을 겪는 제품을 다룰 가능성은 높지 않겠지만, 6개월 전에는 괜찮았던 메트릭이 갑자기 큰 차이를 보였다면 고려할 만한 가치가 있는 요소입니다.

Audience가 응답을 상당히 빠르게 제공하기 때문에 저희는 설문에서 요일마다 다른 점을 발견했습니다. 설문을 하루 중 어느 시간에 보내느냐는 그다지 큰 영향을 주지 않지만, 요일은 큰 영향을 주는 요소가 될 수 있습니다. 걱정하지 마세요. 평균 설문 응답률은 주말과 주중 사이에 크게 변하지 않습니다. 하지만 응답 시간은 좀 더 분산되어 있습니다. 사람들이 근무 시간에 설문에 많이 응답하는 것으로 밝혀졌습니다.

언제 어떻게 설문을 보내야 하는지에 대해 더 많은 모범 사례를 알아보고 싶으세요? 저희는 이에 대해 SurveyMonkey의 설문 전문가가 포함된, 웨비나도 준비해 두었습니다.

N = 191,464

N = 27,967

좀 더 구체적으로는, 더 많은 응답자가 주말에는 모바일 기기를 이용하여 설문에 응한다는 것을 알 수 있습니다. 이 사실이 설문에 대해 가지는 의미는 무엇일까요?

이는 지나치게 텍스트가 많은 광고나 웹사이트 디자인 테스트를 금요일 밤에 시작하지 않아야 한다는 것입니다. 왜냐하면 더 많은 수의 사람들이 모바일 기기로 설문에 응답하기 때문입니다.

이러한 팁은 결과의 풀질에 영향을 미치지는 않지만, 고려할 가치가 있는 사항입니다.

시장 연구자들은 콘셉트 테스트 설문에서 받는 데이터를 간료하게 만드는 요령을 잘 알고 있습니다. 이 가이드에서 권장하는 것처럼 5점 리커트 척도를 사용하셨다면 데이터는 아마도 다음과 같이 보일 겁니다.

이 차트는 그 자체로는 읽기 쉬워 보일 수 있지만 5가지의 서로 다른 메트릭을 4가지의 서로 다른 자극 요인에 걸쳐 비교해야 하는 상황에서는 무척 복잡해질 수 있습니다.

바로 이때 상위 2개 상자 점수가 유용하게 쓰일 수 있습니다. 애완동물 사료 회사의 마케터인 경우, 그 무엇보다도 사람들이 회사 제품을 구매할 가능성이 있는지 또는 구매할 가능성이 최고로 높은지를 알고 싶으실 겁니다. 이러한 상위 2개의 응답을 함께 더하여 상위 2개 상자 점수를 계산할 수 있습니다.

이 경우, 가능성이 매우 높다고 답변한 응답자의 15%와 가능성이 매우 높다고 답변한 응답자의 25%를 더하면 40%의 상위 2개 상자 점수가 됩니다.

상위 2개 상자 점수를 계산하여 설문의 분석을 상당히 간소화할 수 있습니다. 답항 조합 기능을 사용하면 SurveyMonkey가 자동으로 계산해 드립니다.

상위 2개 상자 점수를 일단 계산했으면, 이 점수를 이제 점수표에 적용해야 합니다. 점수표는 다음과 같이 데이터를 전반적으로 바라보는 데 효과적인 방법입니다.

질문이 점수표 형식으로 정리되어 있을 때 승자를 선택하는 것이 얼마나 수월한지 확인해 보세요. 이제 애완동물 사료 회사 예로부터 완전한 점수표를 살펴보도록 하겠습니다.

보시다시피 데이터를 점수표로 정리하고 더 잘 나온 점수를 분명하게 표시하면 읽기도 쉽고 어떤 콘셉트가 더 좋은 성과를 냈는지도 신속하게 알아볼 수 있습니다. 점수표가 결과에 대한 전체적인 면을 제공하므로 필수 선택식 질문의 결과나 놀랍거나, 관심이 가거나, 도움이 된다고 생각되는 인구 통계 구분을 포함하는 것도 좋은 방법입니다.

에를 들어, 남성 및 여성 응답자들 간의 답변에 있는 차이를 비교할 수도 있습니다. 다음은 그러한 비교가 어떻게 보이는지를 제시해 놓은 것입니다.

전문가 팁: SurveyMonkey는 분석에서 인구 통계 질문에 규칙 비교를 사용할 때 자동으로 인구 통계 구분을 제공합니다.

앞서 표본 크기와 신뢰 구간에 대해 언급한 것을 기억하세요? 이러한 기법은 기본적으로 결과에서 통계적 유의성에 도달하기 위한 방법입니다. 요약하자면, 통계적 유의성은 결과에 대해 확신을 가질 수 있는 정도입니다. 이는 차이점이나 관계가 존재하는 것에 대해 얼마나 자신감을 가질 수 있는지를 알려주는 역할을 합니다.

앞서 나왔던 점수표 예를 다시 한번 살펴보겠습니다.

자극 요인들 간에 통계적으로 유의성 있는 차이가 없다면. 이 부분에서 계속 진행하기보다는 잠시 멈추어야 합니다.

예를 들어 광고 캠페인의 구매 의향에서 35%와 40% 차이는 거둘 수 있는 수익에서 수백만 달러를 뜻할 수 있습니다.

그렇다면 자극 요인들 간의 차이가 통계적 유의성이 있는지는 어떻게 발견할 수 있을까요? 가장 쉬운 방법은 설문에서 받은 각각의 상위 2개 상자 점수를 통계적 유의성 계산기를 통해 실행해보는 것입니다. 도움을 드리기 위해 저희만의 계산기를 마련해 두었으니 사용해 보세요.

통계적 유의성 계산기 다운로드

이 정도쯤에서는 승자를 고르는 것이 상당히 당연한 것처럼 느껴질 수 있습니다. 점수표를 만들고, 가장 잘 나온 메트릭을 강조 표시하고, 메트릭이 가장 많이 강조 표시된 콘셉트를 선택하세요. 때로는 정말 이렇게 간단할 수도 있지만 항상 그런 것만 아닙니다.

일부 메트릭은 다른 메트릭보다 훨씬 더 중요하며 어느 콘셉트가 승자가 되느냐에 큰 영향을 미치기도 합니다. 이런 이유로 조사하려는 메트릭에 우선 순위를 지정하는 것이 중요합니다. 콘셉트 A와 B가 모든 메트릭에서 거의 비슷하나 A가 약간 앞서 있다면 A가 승자가 되어야 할 것으로 보입니다.

하지만 콘셉트 B는 구매 의향 메트릭에서 A보다 성과가 약간 더 좋습니다. 이 메트릭은 시각적 매력도나 경쟁사와의 차이점 등의 메트릭보다 훨씬 더 중요할 것입니다. 판매를 높이는 제품이나 광고는 당연히도 궁극적인 목표이기 때문에 여기에 가중치를 두고 콘셉트 B 선택을 고려하는 것은 매우 타당합니다.

중요 사항: 서로 매우 가까운 결과가 나왔다면 특히나 오차 한계를 잊지 마세요. 콘셉트 A와 B가 서로 2%~3% 내에 있고 오차 한계가 5%인 경우, 승자가 있는 것처럼 보여도 이 차이는 판단을 하기에는 지나치게 가깝습니다. 이런 경우엔 답변 필수 질문을 설문 끝에 포함시키는 것이 큰 도움이 될 수 있습니다. 이렇게 유사한 사항에 차이를 부여하는 데 완벽한 역할을 하기 때문입니다.

통상적으로는 어느 콘셉트가 승자가 될지만을 고려하는 것보다는 많은 요소를 생각해 봐야 합니다. 고객들이 간절히 원하던 제품을 테스트하거나 좀 더 광범위한 회사 목표를 지원하기 위한 광고 캠페인 콘셉트를 테스트하는 경우는 어떨까요?

결론을 내리려면 이용할 수 있는 다른 모든 데이터 포인트의 문맥과 함께 설문 결과를 파악해야 합니다. 수년간 진행해 오던 광고와 비교하여 새로운 광고를 테스트하고 있고, 회사 전략이 새로운 관점을 제시하는 것이라면 오래된 광고가 새 광고를 단지 몇 퍼센트의 차이로 앞서가는 것은 주목할 만한 일이 아닙니다.

벤치마크를 설정하는 작업은 시간이 소요되지만 좀 더 광범위한 맥락에서 콘셉트가 어떻게 성과를 낼지를 평가하는 데는 상당히 훌륭한 방법입니다. 벤치마크는 테스트하려는 콘셉트가 과거의 콘셉트나 경쟁자의 콘셉트와 어떻게 비교되는지를 알아볼 수 있는 기준입니다.

예를 들어, 작년 광고와 최근 제작한 광고의 성과를 비교해보고 광고 콘셉트가 시장에서 얼마나 활력이 있을지를 평가할 수 있습니다. 최신 광고가 승자가 아니라면 광고에 새로운 접근법을 시도해볼 때입니다.

또 다른 일반적인 접근법은 설문에 ‘컨트롤’ 옵션을 적용하여 예전의 성과가 아주 훌륭했던 광고를 새로 제작하려는 광고 옵션과 비교해 보는 것입니다. 오래된 광고보다 더 좋은 성과를 보는 것은 새로운 광고 시리즈 중에서 승자를 선택하는 것보다 더 중요할 수도 있습니다.

최종적으로, 대부분의 시장 연구자들은 경쟁적인 자산을 테스트할 수 있는 설문을 만들어 성과가 어떤지를 알아봅니다. 예를 들어, GoodBoy 시장 연구자가 광고나 포장 디자인이 경쟁사인 PupLove에 어떻게 비교되는지를 알아보기 위해 테스트한다면 이 두 회사의 콘셉트 모두로 설문을 만들어 두 브랜드가 어떻게 경쟁할지를 알아볼 수 있습니다.

축하합니다! 콘셉트 테스트를 처음부터 작성하셨고 설문에서 의미 있는 결과도 받아보셨습니다. 조사 팀에 소속한다면 결과와 제안 사항을 넘겨주는 것으로 할 일이 끝날 수도 있습니다.

하지만 광고나 제품 프로세스를 조정할 수 있다면 다음 단계는 또 다른 작업으로 이어질 수도 있습니다. 선택된 광고 콘셉트를 이해관계자들에게 제시하고 이 콘셉트가 최고임을 설득해야 할 수도 있습니다. 이는 곧 결과를 일정한 형식으로 만들어 프리젠테이션 슬라이드에도 잘 맞을뿐더러, 이해관계자들이 이해할 수 있도록 하는 작업을 뜻합니다. 점수표는 이럴 때 완벽한 역할을 합니다.

데이터가 우려 사항, 이전에는 생각해 본 적이 없는 고려 사항을 제시한다면 처음부터 다시 시작하거나 과정을 변경하는 것을 절대로 두려워하지 마세요. 애초부터 테스트는 이런 이유로 시작한 것입니다. 궁극적인 목표는 사업 운영에 도움이 되는 것을 선택하는 데 있습니다.