6-2 단순상관계수와 단순회귀분석
상관분석과 회귀분석은 모두 두 개 이상의 변수 사이의 관계를 검토하기 위한 통계적 기법이지만, 상관분석이란 두 개 이상의 변수들 사이에 존재하는 밀접함(closeness)을 측정하는 것이므로 두 측정치 사이의 공통적인 변이(joint variation)를 다루며, 어느 변수도 독립변수나 종속변수로 규정되지 않는다.
이에 비해 회귀분석은 종속변수(기준변수)를 하나 이상의 독립변수(예측변수)에 관련시키기 위한 회귀모델을 도출하기 위한 통계적 절차로서 각 독립변수의 여러 가지 수준에서 종속변수의 값을 검토하는 것이다. 여기서 종속변수나 독립변수라는 용어는 단지 변량(특정한 변수에 대한 관찰치)간의 수학적인 관계로부터 유래된 것일 뿐이며 절대로 두 변수간의 인과관계를 암시하는 것은 아니다.
1. 단순상관계수
단순상관관계에 관한 가장 보편적인 측정치는 'Pearson r'이라고도 불리우는 피어슨 적률상관계수(Pearson product moment correlation coefficient)이다. 이러한 상관계수는 0과 ± 1 사이의 값을 취할 수 있는데, 다음과 같이 계산된다.
| (x의 편차)(y의 편차)/ (x의 편차제곱의 합)x(y의 편차제곱의 합)의 제곱근 |
'피어슨' 상관계수는 간격척도 이상의 수준에서 측정된 자료로부터 계산될 수 있으며, +1의 상관계수는 완전한 정의 상관관계를 나타내고 -1의 상관계수는 완전한 부의 상관관계를 나타낸다.
한편 상관계수의 제곱은 결정계수(coefficient of determination)라고 하는데, 그것은 한 변수의 전체변이중 다른 변수가 설명해 주는 비율을 나타낸다. 예를 들어, 상관계수가 0.78이라면 결정계수는 0.6084가 되므로 한 변수의 변이중 60.84%가 다른 변수에 의해 설명될 수 있다는 사실을 의미하며 한 변수의 값을 예측하는 데 있어서 다른 변수의 값을 고려하는 일이 유용함을 알 수 있다.
2. 단순회귀분석
단순회귀분석을 설명하기 위해 우선 조사자가 8개의 가계를 표본으로 추출하여 월간 외식빈도와 보유하고 있는 카드의 수를 조사하여 다음과 같은 자료를 수집했다고 가정하자. 이러한 자료만을 근거로 하여 조사자는 한 가계의 외식빈도를 예측할 수 있는데, 이미 제1절에서 설명한 집중화 경향치중의 어느 것도 이용할 수 있지만 산술평균을 이용한다면 단순히 "한 가계의 월간 외식빈도는 7"이라고 말할 수 있다.
| 일련번호 외식빈도 보유카드수 |
| 01
4
2 02 6 2 03 6 4 04 7 4 05 8 5 06 7 5 07 8 6 08 10 6 |
그렇다면 이러한 예측은 얼마나 정확한 것인가? 어떤 모델이나 통계량을 사용하여 예측하는 일의 정확성을 평가하기 위한 보편적인 근거는 그것이 예측근거로 사용될 때 야기시키는 오차이다. 예를 들어, 첫 번째 가계에 대해 7회로 예측한다면 조사자는 3회나 과대추정한 것이며, 오차는 +3이 된다. 만일 이러한 절차를 각 가계에 대해 실시한다면 어떤 가계에 대해서는 조사자의 추정치가 지나치게 높거나 낮고, 다른 가계에 대해서는 정확하게 들어 맞을 것이다.
이 때 그러한 예측의 정확성을 평가하기 위해 실제값과 추정치간의 오차들을 단순히 합계한다면 오차의 합은 항상 0이 될 것이므로, 예측의 정확성을 나타낼 수 없게 된다. 따라서 조사자는 예측의 정확성을 평가하기 위해 각 오차를 제곱한 후에 합산하는데, 이러한 값을 `오차제곱의 합'(sum of squared errors)이라고 부르며 예측정확성에 대한 일반적인 지표가 된다.
따라서 예측을 하는 데 있어서 조사자는 항상 오차제곱의 합을 최소화시키려고 노력해야 한다. 하나의 변수만이 관찰될 때 오차제곱의 합을 최소화시킬 수 방법은 산술평균을 사용하는 일이며, 따라서 한 집합의 측정치에 대해서는 산술평균이 가장 훌륭한 예측근거가 된다.
물론 한 집합의 측정치들만이 있는 경우에는 산술평균이 최선의 예측근거이지만 조사자는 예측의 정확성을 개선하기 위해 다른 측정치를 함께 수집할 수 있으므로, 다른 측정치에 관한 정보가 외식빈도에 관한 예측을 어떻게 개선하여 주는지를 예시하기 위해 보유카드의 수에 관한 자료도 함께 수집하였다고 가정하자.
이러한 절차는 두 개의 측정치를 포함하며, 단순회귀분석(simple regression)이라고 부른다. 단순회귀분석은 - 평균이라는 집중화 경향치가 하나의 측정치를 묘사하는 것과는 - 별개의 예측절차이지만 "예측의 오차제곱들의 합을 극소화시킨다"는 동일한 규칙을 채택한다.
이미 살펴본 바와 같이 조사자는 보유카드수에 관한 정보를 사용하지 않고 각 가계의 월간 외식빈도를 `7회'로 묘사할 수 있는데, 이러한 예측은 다음과 같이 나타낼 수 있다.
외식빈도의 예측값 = 외식빈도의 평균값
이번에는 보유카드수에 관한 추가적인 정보를 이용하여 외식빈도에 대한 예측이 어떻게 개선될 수 있는지를 살펴보자. 만일 보유카드수가 그 가계의 외식빈도에 관련성을 갖는다면 보유카드수의 차이가 외식빈도에 있어서 어떠한 차이에 연관되는지를 밝힘으로써 조사자는 예측을 개선할 수 있을 것인데, 이러한 관계는 다음과 같이 나타낼 수 있다.
외식빈도의 예측값 = 보유카드수 단위차이에 연관된 외식빈도의 변화 x 보유카드수
예를 들어, 보유카드수가 하나씩 많아질 때마다 외식빈도가 평균적으로 2회씩 증가한다는 사실을 반견했다면 외식빈도 = 2x(보유카드수)가 되어 4개의 카드를 보유하고 있는 가계들은 평균적으로 8회의 외식빈도를 갖는다고 예측할 수 있다.
그러나 다음과 같이 모든 예측에서 일정한 크기의 오차가 야기되는 경우가 발생할 수 있으므로 상수값을 추가적으로 포함시킴으로써 예측을 더욱 개선할 수 있음을 알 수 있다.
| 보유카드수 평균외식빈도 예측된 외식빈도 오차 |
| 1
4
2
-2 2 6 4 -2 3 8 6 -2 4 10 8 -2 5 12 10 -2 |
즉 "외식빈도=2x(보유카드수)"가 모든 경우에서 2만큼씩 틀린 것을 알 수 있으므로 앞의 관계식을 "외식빈도 = 2 + 2x(가족수)"로 수정하다면 모든 경우에 있어서 완전한 예측이 될 것이다. 이러한 관계는 다음과 같이 묘사될 수 있으며, 만일 상수항이 예측을 개선하는 데 전혀 기여하지 않는다면 '오차제곱의 합'을 극소화하는 과정에서 상수항이 0으로 추정될 것이다.
외식빈도의 예측값 = 상수 + 보유카드수 단위차이에 연관된 외식빈도의 변화 x 보유카드수
시행착오든 아니면 통계적 절차를 이용하여 조사자는 예측의 '오차제곱의 합'을 최소화시키는 상수, 단위차이에 연관된 외식빈도의 변화를 구할 수 있는데, 예시에서는 각각 2.87과 0.97로 계산된다.
