6-1 통계분석의 예비과정
1. 원자료의 사전처리
1차 또는 2차 원천으로부터 자료를 수집한 다음 조사자는 통계적 분석기법을 적용하기 위한 준비작업을 시작한다. 이 단계에서 자료는 단지 개별적인 응답이나 관찰들에 불과하여 의사결정에 유용한 통계적인 정보로 전환되기 전에는 어떠한 의미도 가질 수 없는 상태이기 때문에, 조사자는 적절한 시사점들을 도출하기 위한 본격적인 자료분석에 앞서서 몇 가지의 예비적인 과업을 수행해야 한다.
1-1. 편집
편집(editing)이란 수집된 원자료(raw data)에 있어서 최소한의 품질수준을 확보하기 위해 응답의 누락, 애매함, 착오를 찾아내는 과정으로서 1차적으로는 면접자와 현장감독자가 담당한다. 그러나 자료분석을 직접 담당자는 사람도 자료분석에 앞서서 수집된 자료들을 검토해야 하므로 편집은 두 단계로 이루어진다.
1-1-1. 편집의 단계
첫 번째 단계의 편집은 즉석에서 눈에 띄는 응답누락과 부정확한 응답을 탐지해 내고 정확한 응답을 요구하기 위해 현장에서 이루어지는 현장편집(field editing)이다. 이러한 현장편집은 현장 면접원을 통제하고 지시, 절차, 특정한 질문에 대한 면접원들의 오해를 없애는 데 대단히 유용하므로, 설문지가 수집되는 현장에서 수행된다.
두 번째 단계의 편집은 주로 애매하거나 누락된 응답을 어떻게 처리할 것인가를 판단하는 일과 관련하여 사무실에서 수행된다(office editing). 이러한 단계에서는 이미 면접으로부터 많은 시간이 경과하였으므로 응답자에게 정확한 응답을 다시 요구하는 일이 거의 불가능하기 때문에 오히려 부정확하고 불완전한 응답의 처리방법을 다룬다.
1-1-2. 편집의 목표
편집과정에서 다루어야 할 보편적인 문제들을 중심으로 편집의 목표를 나누면 대체로 다음과 같다.
첫째, 응답자가 애매한 응답을 제공하거나 선택형 질문에 중간에 체크함으로써 응답을 판독하기가 애매한 경우(ambiguity)에 대해 편집은 판독가능성을 개선해 준다. 이 때 조사자는 담당 면접자와 만나 그러한 기록을 수정하거나 다른 질문들로부터 적당한 응답을 추론하여 판단할 수 있다. 만일 적절한 응답을 편집과정을 통해 판단해 낼 수 없다면 응답누락(missing data)로 처리할 수 있다. 결국 편집은 원자료로부터 애매한 응답을 제거함으로써 응답의 기호화(coding)가 명확히 수행될 수 있도록 하는 일이다.
둘째, 응답자는 간혹 고의든 아니든 특정한 질문이나 설문지의 일부에 응답하지 않을 수 있는데, 편집은 이러한 응답누락(ommisions)을 몇 가지 방법으로 처리함으로써 원자료의 완전성을 개선할 수 있다. 즉 응답자가 응답을 하지 않았는지 또는 면접자가 기록을 누락시켰는지를 확인하기 위해 우선 면접자를 만나고 --- 특히 관련된 질문항목이 조사목적에 매우 중요할 때 --- 응답자를 다시 만나 응답을 받아낼 수 있다.
그러나 만일 응답자가 설문서 전체를 제대로 이해하지 못했거나 협조하지 않았다는 점이 분명하다면 전체 설문지를 분석에서 배제할 수도 있다.
물론 일부 질문에 대해서만 응답누락이 나타난다면 그러한 질문에 대해서는 응답누락(missing data)으로 처리하고 나머지 질문에 대한 응답은 그대로 사용할 수 있다(일부 응답자들은 소득이나 연령과 같은 질문을 무시하면서도 다른 질문들에는 충분히 협조하기도 한다).
셋째, 두 개 이상의 질문에 대한 응답들이 일관성을 갖지 않는 경우(inconsistencies)에서 편집은 한 응답자의 응답들간의 일관성을 개선해 준다. 예를 들어, 직업이 의사인 응답자가 고졸 이하의 학력을 응답하거나 월평균 20만원 정도로 신용카드를 사용한다고 주장하는 응답자가 신용카드 소지자가 아닐 수 있는데, 이 때 조사자는 면접자에게 그러한 비일관성을 해결하도록 요구하거나, 누락응답으로 처리하거나 전체 설문지를 분석에서 배제할 수 있다.
넷째, 응답자들의 응답이 부정확한 경우도 세밀한 관찰을 통해 발견할 수 있는데, 이러한 부정확한 응답은 대체로 면접자들이 응답자에게 올바른 지침을 제공하지 않거나(interviewer error) 태도나 이미지에 관한 수백개의 항목을 포함하는 설문지에 대해 응답자가 반발감 또는 피곤감을 느껴 무성의한 응답을 제공할 때 야기된다(lack of cooperation). 예를 들어, 연간 총소득을 50만원으로 응답한다든가 태도나 이미지 질문항목 모두에 대해 '동의'에 응답한 경우라면 편집은 앞에서 설명한 처리방법으로 원자료의 정확성을 개선해 준다.
다섯째, 간혹 개방형 질문에 대한 응답을 명확하게 해석하기 어려운 경우가 있다. 즉 면접자가 기록상에서 축어형을 너무 많이 쓰고 어휘구사가 애매할 때가 있는데, 이러한 경우 편집은 스스로 의미를 결정하거나 면접자에게 물어 응답의 명료화를 꾀할 수 있다.
여섯째, 부적절한 응답자가 표본에 포함된 경우라면 그러한 응답자의 전체 설문지를 분석에서 배제해야 한다. 예를 들어, 조사모집단이 가정주부인데도 그렇지 않은 응답자가 표본에 포함되었다면 편집과정에서 배제해야 한다.
한편 편집과정의 부산물은 면접자가 수행한 과업을 평가하고 다음 면접에서 활용할 지침을 얻어내는 일이다. 따라서 조사자는 각 면접자가 어떠한 유형의 오차를 잘 유발시키는지를 검토해야 한다.
1-2. 기호화
기호화(coding)이란 자료의 처리와 분석이 용이하도록 각 응답들에 기호(대체로 수치)를 할당하는 일을 말한다. 폐쇄형 질문들에 대한 이러한 기호화 작업은 대단히 단순하여, 조사전 설문지 자체에 기호가 표시되기도 하며(precoding) 응답자가 자신의 응답을 스스로 기호화하거나 면접자가 현장에서 곧바로 기호화하기도 한다.
그러나 개방형 질문에 대한 기호화 작업은 대단히 복잡하여, 두 가지의 방법으로 처리될 수 있다. 첫째, 사전에 비교적 포괄적인 기호화 체제(coding scheme)을 마련하여 면접자들에게 배포함으로써 응답자의 개방형 응답들을 적절한 기호로 전환시킬 수 있으며 둘째, 일단 설문조사를 완료하고 나서 특정한 질문에 대한 응답들을 검토하여 그들을 요약하기 위한 적절한 기호화 체제를 만들고 적용함으로써 각 응답을 기호화할 수 있다. 물론 현재의 기호화 체제에서 벗어나는 응답을 발견할 경우에는 기존 체제에 맞추어 적절히 기호를 할당하든가 또는 현재의 기호화 체제를 수정하고 모든 응답들을 다시 기호화해야 한다.
1-2-1. 기호화 체제의 구성 지침
응답들을 기호화하는데 이용할 일정한 체제를 구성하기 위해서는 다음과 같은 사항에 유의해야 한다.
첫째, 예상되는 또는 수집된 전체 응답을 상호배타적인 집단으로 분류하고 또한 모든 응답을 포괄할 수 있어야 한다. 즉 범주들이 중복되지 않음으로써 모든 응답들이 단 하나의 범주에만 들어가도록 해야하며, 모든 응답이 한 범주에는 반드시 들어가도록 해야한다. 따라서 필요하다면 '모르겠다' 또는 '기타'의 범주를 포함해야 한다.
둘째, 자료분석과정에서 특정한 변수가 사용될 용도가 불확실한 경우라면, 응답들을 가능한 한 통합하지 않은 형태로 상세히 분류해야 한다. 즉 일단 기호화 작업이 끝난 응답들을 필요에 따라 통합할 수는 있지만, 그 반대는 불가능하다.
셋째, 특정한 변수에 대한 응답을 범주로 나누어야 하는 경우에는 범주의 수를 몇으로 할 것인가? 각 범주를 동등한 간격으로 할 것인지 또는 각 범주가 동등한 수의 응답자를 포함하도록 할 것인지? 극단적인 범주를 개방형으로 할 것인지 폐쇄형으로 할 것인지? 등의 문제를 검토해야 한다.
첫 번째 문제에 대해서는 자료속에 포함되어 있는 차이들을 밝힐 수 있도록 충분하며서도 중요한 정보를 은폐하지 않는 한 적은 수의 범주를 선택해야 하며, 특히 자료분석의 초기단계에서는 자료속의 포함되어 있는 중요한 정보가 상실되지 않도록 세분하는 편이 바람직하다.
두 번째 문제에 대해서는 가급적 동등한 간격을 사용하는 편이 - 범주별 응답들의 분산정도를 유사하게 만들 것이므로 - 바람직하지만, 일부 범주가 전체 응답들의 아주 적은 비율만을 포함한다든가 범주의 세분화가 유용한 정보를 더이상 제공하지 않는다면 간격을 확대할 수 있다.
또한 세 번째 문제에 대해서는 극단적인 범주를 개방형으로 하여(***미만이나 ***이상) 그러한 범주를 선택한 응답자의 동질성을 저해할 가능성이 있다면(평균값의 왜곡 등) 폐쇄형으로 하고 기타를 넣어 응답누락(missing data)로 처리하는 편이 바람직하다.
넷째, 응답들이 대체로 각 범주가 나타내는 간격상에서 중앙값이 되도록 범주들의 간격을 조정하는 편이 바람직하다. 예를 들어, 소득에 대한 응답이 10만원단위로 표시되는 경향이 있다고 할 때 '10만원 이상 20만원 미만'의 범주는 20만원의 응답을 별도의 범주로 분류할 것이므로 '15만원 이상 25만원 미만'의 범주를 채택해야 한다.
다섯째, 특별한 기호나 문자보다는 수치를 사용하는 편이 바람직하다.
1-2-2. 다수 응답의 문제
한 설문에 대해 다수응답(multiple responses)를 얻게 되는 경우는 두 가지로 생각해 볼 수 있다.
첫째, 조사자가 단 하나의 응답을 요구하였음에도 불구하고 응답자가 다수응답을 제공한 경우가 있는데, 이러한 경우 조사자는 가장 먼저 나타낸 응답을 취하거나 응답의 조합을 나타내는 기호를 새로이 기호화 체제에 추가할 수 있으며 또는 응답누락(missing data)으로 처리할 수 있다.
둘째, 조사자가 특정한 수의 다수응답을 요구한 경우라면 요구한 수만큼의 변수에 대한 응답으로 간주하여 첫 번째 응답, 두 번째 응답 등으로 기호화할 수 있다.
셋째, 조사자가 특정한 수를 지정하지 않고 '있는 대로'와 같이 다수응답을 요구한 경우라면 나타날 수 있는 모든 응답을 별개의 변수로 취급할 수 있다. 예를 들어, 다섯 가지 종목중 즐겨 관람하는 경기종목을 '있는 대로' 선택하라는 설문에 대해서는 다섯 가지 경기종목을 별개의 변수로 취급하여 '예', '아니오'의 형태로 기호화할 수 있다.
2. 자료의 요약과 기초 통계량
통계적 분석이란 통계적인 추론을 도출하기 위해 자료를 정리하고 조작하는 일이라고 정의할 수 있다. 이러한 통계분석이 타당한지의 여부는 적절한 분석기법의 선정과 투입자료를 선정하는 데 있어서 조사자의 정직함과 그러한 분석기법에 대한 지식 및 산출자료에 대한 조사자의 이해정도로부터 많은 영향을 받는다. 물론 구체적인 분석에 들어가기까지의 과정은 다음과 같이 나눌 수 있다.
| 원자료의 수집 | ||
| 수집자료의 편집 | ||
| 자료의 기호화 | ||
| 자료의 요약 | ||
| 통계적 분석기법의 선정 | ||
| 차이의 검토 | 연관정도의 검토 | 실험자료의 분석 |
즉 자료의 기호화가 완료되면 조사자는 자료를 분석하거나 다른 모집단 또는 표본으로부터 수집된 자료와 비교하기에 앞서서 그들을 요약된 형태로 정리해야 한다. 각 질문에 대한 응답들을 요약하기 위한 방법은 대단히 다양하지만 대체로 도수분포와 집중화 경향치, 산포도가 널리 이용된다.
2-1. 도수분포
자료를 요약하기 위해 조사자는 우선 개별적인 응답들을 각 범주에 할당하고 도수를 계산하게 되는데, 도수분포는 일원요약표와 교차요약표로 구분할 수 있다. 어느 형태이든 도수분포를 검토하는 일은 편집과정에서 발견하지 못한 과오나 예외적인 값을 갖는 응답(outlier)을 발견해 내고 해당 변수(들)의 실증적 분포를 결정하려는 목적을 갖는다.
2-1-1. 일원요약표
일원요약표(one-way tabulation)란 단일 변수에 대한 응답들을 임시적으로 정한 각 범주에 속하는 도수로 나타내는 것으로서 각 변수에 대한 일원요약표는 다른 요약표들과 독립적이다. 여기서 '임시적으로 정한 범주'라는 표현은 일단 요약표를 작성해 본 후 다시 범주를 조정하는 작업이 필요할 수 있기 때문에 사용한 것이다. 다음은 연간 총소득에 대한 응답자들의 분포를 각 범주에 속하는 응답자들의 절대빈도, 비율로 나타낸 상대빈도, 비율로 나타낸 누적빈도로 보여주고 있다.
| 연간총소득(만원) | 절대빈도 | 상대빈도(%) | 누적빈도(%) |
| 1000미만 1000-1300미만 1300-1600미만 1600-1900미만 1900-2200미만 2200이상 |
484 682 484 220 132 198 |
22% 31% 22% 10% 6% 9% |
22% 53% 75% 85% 91% 100% |
| 합계 | 2200 | 100% |
2-1-2. 교차요약표
교차요약표(cross-tabulation)란 단순히 한 변수의 분포를 보여주는 일원요약표의 확장으로서 각 범주에 대해 두 개 이상의 변수들이 가는 동시적인 영향을 나타내 준다. 예를 들어, 조사자는 각 가계의 통조림 소비량의 차이가 그 가계의 가족수와 관련될 것으로 생각해 볼 수 있으며, 이 경우에는 다음과 같이 통조림 소비량과 가족수에 대한 교차요약표를 작성할 수 있다.
| 가족수 | 주간 통조림 소비량 | 계 | ||
| 250g 미만 | 250-500g 미만 | 500g 이상 | ||
| 1-2명 3-4명 5명 이상 |
5 20 25 |
15 45 25 |
30 25 10 |
50 90 60 |
계 |
50 | 85 | 65 | 200 |
교차요약표에서는 상대적인 비율을 계산하기 위해 사용할 근거를 결정해야 하는데, 그러한 근거에 따라 제공되는 정보의 내용이 다르다. 즉 열별로 비율을 계산하는 일(예컨대, 250g 미만에 대해 50을 100%로 할 때)은 가족수가 통조림 소비량으로부터 영향을 영향을 받는다는 관점이며, 행별로 비율을 계산하는 일(예컨대, 3-4명에 대해 90을 100%로 할 때)은 통조림 소비량이 가족수로부터 영향을 받는다는 관점이다.
그러나 조사자는 가족수가 통조림 소비량으로부터 영향을 받는다고 가정하기는 곤란하므로 통조림 소비량을 종속변수로 분석하기(예시에서는 행비율분석)를 원할 것이다. 즉 비율은 일반적으로 원인적 변수의 방향에서(결과적 변수의 범주에 걸쳐서) 계산되는 편이 바람직하지만, 인관적 방향을 쉽게 결정할 수 없는 경우라면 조사문제를 참고하여 종속변수를 결정하든가 각 방향에서 검토되어야 한다.
2-2. 집중화 경향치
조사자는 전체 자료나 도수분포로부터 직접적으로 유용한 정보를 추론해 내기가 곤란하기 때문에 그러한 자료나 도수분포를 요약하는 하나의 수치를 계산하기 원할 것이다. 즉 전체 자료집합의 특성은 집중화 경향치(average, central tendency)나 산포도(degree of dispersion)로 나타낼 수 있다.
2-2-1. 최빈수
최빈수(mode)란 가장 빈번히 나타나는 관찰치 또는 항목인데, 가장 많은 빈도를 차지한 범주이므로 도수분포로부터 쉽게 파악될 수 있다.
2-2-2. 중위수
중위수(median)란 가장 큰 값과 가장 작은 값의 중간에 위치한 관찰치 또는 항목이므로 중위수를 계산하기 위해 조사자는 자료를 크기순서로 배열해야 한다.
2-2-3. 산술평균
가장 일반적으로 사용되고 있는 집중화 경향치(average)는 산술평균(mean)으로서 모든 관찰치들의 합계를 관찰의 수로 나눔으로써 구할 수 있다. 산술평균을 사용하는 데 있어서 유의해야 할 점은 관찰치들이 평균주변에 분포되어 있지 않거나 평균을 중심으로 대칭으로 분포되어 있지 않은 경우에는 오히려 다른 집중화 경향치나 도수분포를 사용하는 편이 타당하다는 사실이다.
2-3. 산포도
앞에서 설명한 바와 같이 관찰치들의 분포를 하나의 수치로 요약하기 위해서는 집중화 경향치들을 사용할 수 있다. 그러나 집중화 경향치들은 관찰치들의 산포도(degree of dispersion)에 관한 정보를 전혀 제공하지 않기 때문에 조사자는 집중화 경향치의 대표성을 평가하기 위해 산포도의 측정치를 검토해야 한다. 예를 들어, 관찰치들 사이의 '산포도'가 크다면 관찰치들을 요약한 집중화 경향치들이 자료를 전혀 대표하지 못할 것이다.
마케팅에서는 산포도의 측정치로서 범위, 분산 및 표준편차가 널리 이용된다.
2-3-1. 범위
범위(range)는 산포도에 관한 가장 단순한 측정치로서 관찰치 분포에서 가장 큰 값과 가장 작은 값의 차이를 의미한다. 범위는 극단적인 관찰치들을 강조하기 때문에 전형적인 값들을 무시하고 분포에 관한 해석을 오도할 수 있으나, 관찰치들의 변화폭에 대한 약간의 정보를 제공할 수 있다.
2-3-2. 분산과 표준편차
분산(variance)과 표준편차(standard deviation)는 모두 평균으로부터 개별 관찰치의 편차들을 근거로 한다. 분산은 분포의 평균으로부터 각 관찰치들의 편차제곱들의 평균이라고 정의되며, 이러한 분산의 제곱근을 표준편차라고 부른다. 분산은 다소 해석하기가 어려운 측정치이므로 표준편차가 산포도의 측정치로 널리 이용된다.
정규모집단으로부터 추출된 표본 또는 대표본의 평균들의 분포에서 표준편차가 평균(표본들의 평균)에 대해 갖는 관계는 표본추출이나 상관분석 등 다양한 분석기법의 기초가 되기 때문에 매우 중요하며, 또한 두 개의 표본평균의 차이를 분석하는 데 있어서도 표준편차는 가변성(variability)의 측정치로서 유용하다.
표준편차의 중요한 특성은 다음과 같다.
첫째, 한 관찰치의 변화는 표준편차를 변화시킨다.
둘째, 평균과 마찬가지로 편향된 분포(skewed distributions)에서는 대표성을 잃을 수 있다.
셋째, 평균과 마찬가지로 표준편차는 개방형의 범주들로부터는 계산될 수 없다.
