4-3 설문서의 작성요령
1차자료를 수집하기 위하여 사용할 설문서를 적절하게 작성하는 일은 마케팅 조사결과의 유용성에 결정적인 영향을 미칠 뿐 아니라, 수집된 자료에 적용할 수 있는 통계적 분석기법도 제한한다. 따라서 조사자는 정보욕구를 근거로 하여 마케팅 조사로부터 얻어내고자 하는 정보의 내용과 자료분석을 위해 적용하려는 통계적 분석기법을 사전에 고려함으로써 설문지를 작성해야 한다. 즉 모든 조사문제에 적용할 수 있는 표준적인 설문작성법은 없으며, 마케팅 조사에서 발견되는 오류의 20-30%가 그릇된 설문지의 사용에 기인한다는 사실을 생각할 때 올바른 설문지의 작성은 마케팅 조사에 있어서 가장 중요한 일의 하나임을 부인할 수 없다.
그럼에도 불구하고 대부분의 마케팅 조사실무에서 설문서를 작성하는 일은 대단히 단순하거나 하찮은 일로 간주되고 있는 실정이며, 그러한 의식 속에서 만들어진 설문지는 형태는 갗추었지만 전혀 조사목적에 부합되지 않거나 많은 비용과 시간을 들어 조사한 후에도 전혀 가치없는 결과만을 산출할 뿐이다. 더욱이 그릇된 설문지의 작성은 통계적 분석에 있어서 예기치 않았던 제약을 부과하여 어쩔 수 없이 쓰레기 더미만을 만들어 내는 경우도 흔하다.
1. 설문지 작성에 대한 기본적인 지침
조사자와 응답자간의 명료한 커뮤니케이션만으로 설문지작성의 지침이 끝나는 것은 아니다. 비록 명료한 커뮤니케이션이 매우 기본적인 요소이기는 하지만, 훌륭한 설문지는 그 이상의 것을 필요로 한다.
첫째, 설문지가 포괄하는 내용의 범위는 조사목적을 충족시키기에 필요한 것 이상도 이하도 아니어야 한다. 이것은 진부한 이야기같지만 조사자는 간혹 꼭 필요한 설문이 누락되었다는 사실을 사후에 발견할 수 있는데, 이 때 조사자가 할 수 있는 일은 고작해야 --- 있을 수 없는 일이지만 어쩔 수 없이 --- 본래 얻고자 했던 정보욕구를 변경시키는 일뿐이다.
이에 반해 어떤 경우에서는 조사목적과는 무관한 수많은 질문들을 산더미처럼 밀어부치는 경우도 발견할 수 있다. 조사실무에서는 기왕에 비용을 들이는 마케팅 조사이니까 가급적이면 많은 자료를 수집하자는 의도가 있겠지만, 사실 불필요한 질문으로 응답자들 피곤하게 하는 일은 그들의 심기를 불편하게 할 뿐 아니라 피곤하게 만들에 아주 무성의한 응답을 받아내고 그 결과 꼭 필요한 질문에 대한 응답의 진실성도 의심받게 만든다.
설문서를 작성하는 데 있어서 조사자는 "(조사목적에) 충분하면서도 최소한의 질문"을 하겠다는 마음의 자세를 가져야 한다.
둘째, 설문의 방법(측정척도)은 결국 수집된 자료에 적용할 수 있는 통계적 분석기법과 분석결과로부터 도출될 결론에 영향을 미친다는 사실을 명심해야 한다. 예를 들어, 많은 조사자들은 소득수준과 화장품의 구매량 사이의 관계를 분석한다고 할 때 소득수준에 관한 질문을 다음(소득자료를 수집하기 위한 질문 예시)과 같은 세 가지 중의 하나의 형태로 제시할 것이다.
똑같이 소득에 관한 자료를 수집하기 위한 질문이지만 첫 번째 질문은 명목자료를 산출하기 때문에 제3장에서 설명한 바와 같이 각 범주에 속하는 응답자의 빈도만을 계산할 수 있을 뿐이다. 또한 두 번째 질문은 서열자료를 산출하기 때문에 회귀분석이나 상관분석 등을 적용할 수 없고, 세 번째 질문은 비로소 비율자료를 산출하기 때문에 모든 통계적 분석기법을 적용할 수 있는 것이다. 즉 어떠한 변수에 관한 질문을 설문지에 포함시킬 것인가에 덧붙여 그것을 어떻게 묻고 어떠한 수준에서 측정할 것인지가 대단히 중요한 것이다.
소득자료를 수집하기 위한 질문 예시 |
| 소득의 크기에 대해 응답해 주십시오. 1) 만족스럽다 2) 불만족스럽다 소득에 해당하는 난에 표시해 주십시오. 소득의 금액은 얼마입니까? 원 |
셋째, 질문의 수와 질문형식, 질문순서 등은 실제의 자료수집 결과에 대하여 많은 영향을 미칠 수 있기 때문에 이들에 대한 신중한 고려가 필요하다(2.항에서 설명). 특히 적절한 어휘의 구사와 질문의 순서는 응답자들의 회상을 촉진하고 보다 정확한 응답을 유도해낼 수 있다.
2. 설문서의 설계과정
이상과 같은 조건들을 충족시키기 위해 설문지를 설계하는 과정은 다음(설문지의 설계과정)과 같은 단계들을 필요로 한다.
| #1. 측정할 것을 계획한다. |
| #2. 필요한 자료를 얻기 위한 질문을 구성한다(척도고려). |
| #3. 질문의 순서와 설문지의 배안을 고려한다. |
| #4. 소표본을 이용하여 설문지를 사전시험한다. |
| #5. 문제점을 개선하고 다시 사전시험한다. |
2-1. 무엇을 측정할 것인가를 계획한다.
마케팅 조사에 있어서, 특히 설문서의 설계과정에서 가장 어려운 일은 어떠한 정보를 수집할 것인지를 정확하게 규정하는 일인데, 이 단계에서의 그릇된 판단은 조사목적에 관련되지 않거나 불완전한 조사결과를 의미한다.
수집된 자료와 조사목적 사이의 관련성의 결여는 조사자가 --- 구체적인 조사목적을 참조하지 않고 --- 어떠한 정보조각이 수집하기에 '재미있을 것'이라는 생각을 가질 때 흔히 발생한다. 이러한 일은 설문지의 양을 불필요하게 늘리고 자료분석의 비용을 증대시켜며 불성실한 응답을 야기시킬 수 있다.
이러한 문제를 해결하기 위해서 조사자는 설문을 작성하는 동안 끊임없이 "이러한 질문이 어떠한 자료를 산출할 것이며, 그 자료가 어떻게 이용될 것인가?"하는 질문을 자문하면서 결국 그것에 적용될 구체적인 분석을 예상해야 한다.
또한 중요한 측면에서 설문지가 불완전한 채로 조사현장에 보내질 때 조사자는 돌이킬 수 없는 문제에 당면하게 되는데, 이러한 문제를 방지하기 위해서는 다음과 같은 일을 통하여 '무엇을 측정할 것인가'를 신중하게 생각해야 한다.
첫째, 의사결정자가 필요로 하는 정보의 유형, 가설, 조사범위를 가능한 한 충분히 묘사하도록 조사목적을 명백히 한다.
둘째, 보다 많은 관련된 변수를 발견해 내고 전형적인 응답자의 어휘와 관점을 받아들이기 위해 탐색적 조사를 실시한다.
셋째, 유사한 선행조사로부터 변수나 설문서의 구성, 질문방식 등을 참고로 한다.
넷째, 설문서를 소표본에 대하여 사전시험하고, 문제가 있다면 적절한 수정을 거쳐 다시 사전시험한다.
한편 마케팅 조사에 있어서는 조사목적(조사문제)가 대체로 가설로 표현되는데, 가설들은 결국 조사목적이 암시하는 문제들에 대한 가능한 대답을 암시하므로 그러한 가능한 대답들을 도출할 수 있는 질문항목들이 설문지에 포함되어야 한다. 따라서 의사결정자의 정보욕구로부터 조사목적이 규정되며 조사목적은 다시 가설을 통해 수집되어야 정보항목을 규정함으로써 질문항목을 결정한다.
2-2. 필요한 질문을 구성한다.
구체적인 질문들을 구성하는 데 있어서 조사자는 응답자에게 응답범주를 사전에 지정해 줄 것인지 또는 자유롭게 자신의 응답을 작성하도록 할 것인지를 결정해야 하며, 또한 응답범주를 제시해 줄 때 몇개의 범주로 구성할 것이며 범주를 어떤 순서로 제시할 것인지를 결정해야 한다.
2-2-1. 개방형 질문/폐쇄형 질문
사전에 응답범주를 지정하지 않고 응답자로 하여금 자신의 의견을 자유롭게 밝히도록 허용하는 질문을 개방형 질문(open-ended question)이라고 한다. 개방형 질문은 응답에 있어서 다양성(광범위성)을 허용하며, 응답들이 사전에 규정된 범주들로부터 영향을 받지 않는다는 장점을 갖고 있기 때문에 특히 다음과 같은 경우에 적합하다.
* 어떤 실사나 어떤 주제를 시작하기 위한
도입부분으로서
"일반적으로 칼라TV/이러한 이웃/이 지역의 대중교통수단에
대하여 어떻게 생각하십니까?"와 같은 질문은 응답자로 하여금
실사의 주제에 친숙하게 만들고, 보다 구체적인 질문들의 길을 트고,
응답자를 설문과정에 대해 보다 편안함을 느끼게 할 수 있다.
* 응답자에 대한 문제의 현저성을 측정하는 일이
중요할 때
"오늘날 이 나라가 안고 있는 가장 중요한 문제가
무엇이라고 생각하십니까?"를 묻는다.
* 목록화되어야 할 가능한 응답들이 지나치게
많거나 예상할 수 없을 때
냉장고 구매에 대하여 현금으로 지불하는 이유는 무엇입니까?
이웃에 사는데 대해 특별히 좋아하는 이유는 무엇입니까?
* 응답자의 대답취향을 발견해 내거나 보고서에 예시로서 인용하기 위하여 구체적인 응답예시를 수집해야 할 때
그러나 개방형 질문은 응답자의 적극적인 협조를 필요로 하며, 응답을 재빨리 받아적거나 정확하게 요약할 수 있는 유능한 면접자가 필요하다는 단점을 갖고 있다. 또한 응답들을 요약하기 위하여 분류기준을 결정하고 각 응답을 해당하는 범주에 할당해야 하므로 면접과 요약에서 시간이 많이 소요될 뿐 아니라 이 과정에서 주관적인 판단이 개재할 가능성이 크다.
따라서 개방형 질문들이 보다 의미있고, 관련성있고, 비반복적인 응답을 제공한다는 확신이 없다면 대규모 실사에서는 사용하지 않는 편이 바람직하다.
한편 폐쇄형 질문은 응답하기가 용이하며, 면접자의 수고를 덜 수 있고, 요약과 분석이 용이하다. 또한 질문이 실시되는 방법과 응답이 기록되는 방식에서의 차이에 기인하는 잠재적 오차도 적고 시간도 적게 소요된다. 특히 대규모 실사에서 폐쇄형 질문의 가장 큰 잇점은 응답자들에 걸쳐 대답들이 직접적으로 비교될 수 있다는 점인데, 응답들의 비교가능성은 모든 통계적 분석에 있어서 필수적인 전제조건이다.
폐쇄형 질문의 기본적인 형태는 다음(폐쇄형 질문의 예시)과 같은데, 세 가지 유형의 질문이 있다.
1) 응답범주로부터 단일선택(single-choice) --- 질문1
2) 응답범주로부터 다수선택(multiple-choice) --- 질문3
3) 척도상의 단일평점 선택(sinle-choice rating on a scale) --- 질문2
| 1. 당신은 **전자레인지를 사용해 보신
경험이 있습니까? ( ) 예 ( ) 아니오 ( ) 기억이 나지 않습니다 2. 기존의 제품에 비하여
얼마나 편리하다고 생각하십니까? 3. 이 제품을 다음중 어떤 용도에 사용하고 있습니까(있는대로
답해 주시오)? |
그러나 폐쇄형 질문은 응답자의 자기표현을 제한하며, --- 탐색적 조사를 통해 가능한 응답범주들을 발굴했을 경우조차 --- 질문과 적절한 범주를 개발하기가 어렵다는 단점을 갖고 있다. 더욱이 응답자들이 자신의 무지를 감추기 위하여 단 사회적으로 바람직하다고 여겨지는 '합리적인' 범주를 택할 수 있으며, 어려운 선택이나 판단을 피하기 위해 가장 응답하기 쉬운 '모르겠다'를 선택할 수도 있다. 후자의 문제에 대응하기 위하여는 먼저 개방형 질문을 앞에 두어 다음 질문에 대한 응답자격을 여과하는 편이 바람직하다. 예를 들어, 상표의 인지도 조사에서는 우선 회상되는 상표명들을 밝히도록 한 후, 특정한 상표에 대한 의견을 질문하는 방법을 사용할 수 있다.
2-2-2. 응답범주의 수
폐쇄형 질문에 대한 응답범주는 일반적으로 5개내지 7개가 적당하다. 즉 5개의 범주는 응답자들을 효과적으로 차별화하기 위한 최소한 수이며 7개 보다 많은 범주는 비록 정밀할지 모르겠으나 응답자에게 혼돈을 야기시킬 수 있다.
다수선택의 질문에 있어서는 응답범주들이 상호배타적이면서 포괄적이어야 하지만, 간혹 가능한 모든 응답범주를 제시하는 것이 불가능하거나 바람직하지 않을 수도 있다. 즉 수십개의 응답범주를 나열하기 보다는 보편적인 응답으로 예상되는 5개내지 6개의 응답범주를 제시하고 나머지는 기타의 범주로 묶고 구체적인 응답을 기재하도록 하는 편이 오히려 바람직하다.
2-2-3. 응답범주의 제시순서
높은 응답범주로부터 제시할 경우에는 낮은 응답범주로부터 제시할 경우에 비해 높은 범주에 응답하는 사람의 수가 많아지는 경향이 있는데, 이러한 문제에 대해서는 우선 중간범주의 이상/이하의 여부를 질문하고 다시 각 범주에 있어서 이상/이하의 여부를 질문함으로써 응답의 오차를 줄일 수 있다.
또한 우편설문의 경우에서 응답자들은 대체로 중간범주에 응답하는 경향이 있는데, 이러한 문제에 대해서는 평균적으로 응답이 예상되는 범주를 제시순서에 있어서 여러 위치로 변경할 수 있다.
2-2-4. 응답자의 불확실성과 무지
대부분의 폐쇄형 질문은 '잘 모르겠다', '응답하기 싫다(무응답)', '그저그렇다' 등을 나타내는 응답범주로서 하나만을 포함하고 있는데, 그러한 응답범주의 실제 내용은 분명히 다르기 때문에 신중하게 선택하여 제시해야 한다. 예를 들어, 응답자가 실제로 판단할 수 없는 질문에 대하여 '잘 모르겠다'는 응답범주가 제시되지 않는다면 제시된 적당한 범주 선택할 것이며, 극히 개인적인 질문에 대하여 '응답하기 싫다'는 응답범주가 제시되지 않는다면 '잘 모르겠다' 또는 '그저그렇다'의 범주가 선택할 것인데, 이러한 문제는 해석상의 오류를 야기시킬 것이다.
2-2-5. 질문표현상의 어휘선택(question wording)
명료하고 편의되지 않은 질문을 표현하기 위해 조사자는 다음과 같은 문제를 고려해야 한다.
첫째, 단어가 모든 응답자들에게 단순하고, 직접적이며, 친숙한가? 많은 응답자들은 자신의 '결혼상태'를 알고 있지 못하지만 그들이 기혼자인지, 미혼자인지, 이혼자인지는 쉽게 말할 수 있다. 또한 응답자 집단에 다라서는 동일한 단어를 다른 뜻으로 이해할 수 있으므로 --- 특히 비교문화적 연구에서 --- 어휘선택에 유의해야 한다.
둘째, 단어의 의미가 애매하지 않는가? 많은 질문들은 응답자에게 그것을 해석하기 위해 필요한 시간적 및 공간적 준거체계를 충분히 제공하고 있지 않은데 예를 들어, '가끔', '때때로', '자주' 등의 단어는 적절한 시간적 준거체계를 갖지 않기 때문에 응답자들은 자기멋대로 해석하여 응답하고 그 결과 응답들이 비교될 수 없게 만든다. 마찬가지로 "여기서 사신 지 몇년이 되었습니까?"라는 질문에서 여기가 이집인지, 이 동네인지, 이 도시인지, 이 나라인지와 같은 공간적 준거체계가 애매하다. 또한 소득에 있어서도 본봉만인지, 수당포함인지, 보너스 포함인지가 애매할 경우가 있다.
셋째, 질문이 양면성을 갖지는 않는가? 간혹 응답자가 부분적으로만 동의하는 질문이 있는가하면 일정한 가정하에서만 응답할 수 있는 질문도 있다. 예를 들어, "신제품을 구매할 계획입니까?"라는 질문은 어떠한 조건들이 가정될 때나 응답할 수 있는 것이다.
넷째, 질문이 유도성을 갖지는 않는가? 유도성 질문이란 어떤 응답을 암시하거나 조사자의 의견을 제시하는 질문을 의미하는데, "바람직한 내용의 진술 + 그렇지 않습니까?"의 부가의문문으로 이루어진다. 또한 "여가시간에 TV시청 등을 하십니까?"라는 질문과 같이 응답범주를 충분히 제시하지 않거나 특정한 기관이나 기업의 입장을 제시하고 동의/비동의를 묻는 일도 모두 유도성 질문이다. 또한 자존심에 소구하거나 자존심을 위협하는 질문도 응답을 오도할 수 있는데 예를 들어, 구멍가게 운영도 경우에 따라서는 자영사업 경영으로 응답될 수 있는 것이다.
다섯째, 응답지시문이 혼돈을 주지 않는가? 복잡한 상황을 응답자에게 설명하고 그들의 의견을 묻는 긴 질문은 혼돈을 야기시킬 수 있다.
여섯째, 질문이 모든 응답자에게 적용될 수 있는가? 응답자들은 자격이나 의견이 없으면서도 "(취업을 가정하여) 당신의 직업은 무엇입니까?" 또는 "(투표를 했다고 가정하여) 지난번 선거에서 어느 후보에게 투표하셨습니까?" 등의 질문에 응답할 수 있는데, 조사자는 응답자격을 여과하는 질문을 통해 해당하는 사람만 이러한 질문에 응답하도록 해야한다.
일곱째, 질문이 개인화되는 정도에 따라 응답이 달라질 수 있다. 예를 들어, "지금 아파트를 매입해 두는 일이 현명한 것입니까?"와 "당신이 지금 아파트를 매입해 두는 일이 현명하다고 생각하십니까?"의 질문은 상이한 응답을 야기시킬 수 있으며, 조사자는 질문표현이 갖는 효과차이를 분석하기 위하여 사전조사를 실시하고 조사목적에 따라 신중하게 선택해야 한다.
2-3. 질문의 순서와 배안을 결정한다.
질문의 순서는 우선 응답자의 협동을 얻고 유지하기 위한 필요와 면접자의 실행편의를 고려하여 결정해야 하는데,일단 이러한 고려사항이 충족되고 나면 순서효과의 문제(이전 질문이 다음 질문에 대한 응답에 영향을 주는 현상)에 주의를 기울여야 한다. 응답자와 면접자에게 논리적인 설문서의 순서에 대한 지침은 다음과 같다.
첫째, 응답하기에 용이하고 비위협적인 질문으로 시작한다. 이는 응답자로 하여금 응답할 능력에 대한 확신을 갖게 하고 면접자와의 신뢰를 구축하는 데 주요하다. 간혹 이러한 목적을 위해 불필요한 질문을 넣을 수도 있는데, "우리는 건강문제에 대해 조사하고 있습니가. 당신은 감기에 걸렸을 때 보통 어떻게 합니까?"와 같은 질문으로 면접을 시작하는 편이 바람직하다.
둘째, 설문지는 하나의 주제로부터 다른 주제로 유연하게 흘러가야 한다. 갑작스러운 주제변경은 응다자에게 혼돈을 야기시킬 수 있으므로 회피되어야 하며, 새로운 주제가 도입될 때에는 그것이 방금 논의한 주제와 도는 조사목적과 어떻게 연관되는지를 설명해 주는 전환용 진술이나 질문이 필요하다.
셋째, 대부분의 주제에 대해 광범위하고 일반적인 질문들로부터 보다 구체적인 것으로 진행하는 편이 바람직하다. 이러한 접근방법은 응답자로 하여금 구체적인 질문을 보다 넗은 맥락에서 생각하도록 만들며, 보다 신중하게 응답하도록 도와준다.
넷째, 소득이나 능력을 다루는 민감하거나 어려운 질문은 설문지의 앞부분 보다는 응답자가 면접자와 상당한 신뢰를 형성한 시점에서 제공되어야 한다. 만일 면접이 짧다면 끝부분에 제시될 수 있다.
이밖에도 설문지의 물리적 특성도 설문지가 재미있거나 수행하기 용이한지에 영향을 미친다. 예를 들어, 자기보고식의 설문지의 경우 설문서의 지질이나 인쇄품질, 글자의 조밀성은 중요한 변수가 되며 마찬가지로 설문지가조밀하지 않고, 정밀한 지시문이 제시되고, 여과성 질문을 통해 면접자를 지침하기 위한 흐름도가 제공된다면 면접자의 과업이 훨씬 용이해 질 것이다.
2-4. 사전시험과 교정조치
설문지의 초안은 지나치게 길면서도, 중요한 변수들을 누락시켰거나 애매하고 오도성의 질문을 포함하는 경향이 있는데 설문지에 대한 사전시험은 이러한 문제점을 발견하고 교정하는 것을 목적으로 한다. 효과적인 사전시험을 위해서는 조사자가 비판에 수용적이며 문제점을 바로 잡겠다는 의지를 가져야 하는데, 가장 손쉬운 사전시험의 방법으로 조사자는 응답자의 관점에서 각 질문에 응답해 볼 수 있다.
설문지를 공식적으로 사전시험하기 위해서는 모집단을 대표하는 15명내지 25명정도의 소표본만으로 충분하며, 실사가 어떠한 방법에 의해 실시될 것이든 사전시험은 반드시 직접면접을 통해 이루어져야 한다. 사전시험을 위한 직접면접에서 면접자는 응답중 응답자의 혼돈, 저항, 불편함 등을 관찰하고 응답이 완료된 후에 각 질문에 응답하면서 어떤 생각이 떠올랐는지, 이해하는 데 문제가 없었는지, 질문이 포괄하지 않은 주제가 있는지 등을 알아내야 한다.
일단 면접자가 그들의 사전시험 결과와 자신의 의견을 보고하면, 조사자는 그러한 내용을 참고하여 설문지를 수정하고 필요하다면 다시 사전시험을 실시한다.
