9-3 통계적 실험설계
1. 통계적 실험설계의 의의
하나의 독립변수가 특정한 값을 가질 때(하나의 실험처치에 대해) 종속변수의 값을 관찰함으로써 적절한 인과적 관계를 추론할 수 있도록 허용하는 기본적인 설계들을 다양하다.
그러나 마케팅 조사에서는 대체로 다음과 같은 정규실험설계(posttest-only with control group design)를 기본적인 실험설계로 하여 인과적 관계를 추론하는데, 우선 새로운 포장(실험처치)이 매출액(종속변수)에 미치는 효과를 예시를 통해 검토해 보자.
EG(실험집단): 시험단위의
무작위선정 → 실험처치 → 실험집단 측정치 |
실험처치의 효과 = (실험집단 측정치 - 통제집단 측정치) |
즉 조사자가 특정한 제품을 취급하고 있는 90개의 점포 중에서 20개의 점포를 무작위로 선정하여 10개를 통제단위로 하고 10개를 실험단위로 무작위 할당하고 마케팅 실험을 실시한다고 가정하자.
다수의 실험단위가 있는 경우, 실험처치의 효과는 실험단위들(실험집단)에서 매출액의 평균변화와 통제단위들(통제집단)에서 매출액의 평균변화 사이의 차이로 간주될 수 있다. 따라서 실험집단의 평균 변화율이 11.11%이고 통제집단의 평균 변화율이 2.23%라고 한다면 실험처치는 매출액을 8.88%만큼 증대시켰다고 볼 수 있다.
그러나 이러한 값은 결론과 정보이용에 앞서서 규명되어야 하는 실험오차를 포함하고 있는데, 실험오차는 실험처치의 효과에 대한 신뢰구간으로 표현되며 그것을 추정하기 위한 방법은 근본적으로 확률표본으로부터 계산된 통계량의 신뢰구간을 추정하는 경우에서와 동일하다.
즉 8.88%라는 새로운 포장의 효과(즉 실험집단과 통제집단의 평균 매출액 차이)는 표본오차에 기인하여 우연히 나타날수도 있기 때문에 진정으로 그러한 효과가 통계적으로 유의성을 갖는지의 여부를 검토해 볼 필요가 있다. 뿐만 아니라 조사자가 최적의 가격이나 가장 효과적인 광고물, 최적의 제품디자인 등 독립변수의 최적수준을 결정하기 위해서는 독립변수의 여러 값들이 갖는 효과를 검토하고 또한 동시에 두 개 이상의 독립변수(포장과 가격)가 결합하여 산출하는 효과를 검토해야 한다. 이러한 세 가지의 필요성은 통계적 실험설계를 통해 효과적으로 충족될 수 있다.
2. 통계적 실험설계의 유형
마케팅 실험을 위해 널리 이용되고 있는 통계적 실험에는 다음과 같은 형태가 있다.
2-1. 완전무작위 설계
완전무작위 설계(CRD, completely randomized design)란 통계적 실험설계의 가장 단순한 형태로서, 단 하나의 독립변수가 종속변수에 미치는 효과를 검토하는 데 유용하다. 이 때 종속변수는 계량적으로 측정되어야 하며 독립변수는 두 개 이상의 범주를 갖는 명목척도인데, 독립변수의 각 범주는 실험처치라고 한다.
예를 들어, 조사자는 독립변수로서 고객서비스를 선택하고 구매시점에서 고객욕구에 따른 '제품조정', 제품사용 기간중 고객에게 제공하는 '사후관리', 고객이 원할 때 새로운 모델로 교환해 주는 '교환판매' 등의 세 가지 실험처치(독립변수의 값 또는 범주)가 매출액에 미치는 효과를 분석할 수 있다.
실험처치 |
제품조정 사후관리 교환판매 |
| S1(관찰치)
S5
S9 S2 S6 S10 S3 S7 S11 S4 S8 S12 |
완전무작위 설계에서는 어떠한 외부적 층화기준(점포인 경우라면 규모나 입지, 개인이라면 나이나 경력, 소득 등 시험단위 고유의 특성)도 고려하지 않고, 시험단위들을 각 처치집단에 완전히 무작위로 할당한다는 점이 특징이다. 즉 모든 외생적 요인들이 동일하게 작용한다고 가정되며 여기서 종속변수인 매출액이 처치집단간에 유의적인 차이를 보인다면 각 집단의 평균 매출액을 비교하여 최적의 실험처치(고객서비스)를 판단하게 된다.
2-2. 무작위층화 설계
완전무작위 설계에서는 외부적 층화기준을 전혀 고려하지 않고 시험단위들을 각 처치집단에 무작위로 할당했으므로, 모든 외생적 요인들의 영향이 각 처치집단에 걸쳐 동일하게 작용한다고 가정한 것이다. 그러나 일부 점포들은 상업지역에 위치하는데 반해 다른 점포들은 주거지역에 위치하고 있으며, 만일 점포의 입지가 고객서비스의 효과와 밀접하게 관련될 것으로 예상된다면 점포의 입지가 미치는 영향을 분리해야 할 것이다.
즉 점포의 입지에 따라 고객서비스의 효과가 다르게 나타날 것이기 때문에 각 실험처치의 효과를 정확하게 밝히기 위해서는 시험단위들을 점포의 입지라는 외부적 층화기준에 따라 몇 개의 계층으로 구분해야 한다. 예를 들어 첫 번째 계층을 상업지역으로 하고 두 번째 계층을 주거지역으로 구분한다면 무작위층화 설계(RBD, randomized block design)를 다음과 같이 계획할 수 있다.
|
실험처치 |
| 제품조정 사후관리 교환판매 | |
| 상업지역 | S1(관찰치)
S5
S9 S2 S6 S10 |
| 주거지역 | S3
S7
S11 S4 S8 S12 |
무작위층화 설계에서 조사자는 일단 외부적 층화기준에 의해 계층을 설정하고 계층별로 시험단위들을 추출한 후, 이들에게 각 실험처치를 무작위로 할당하게 되는데, 이러한 설계에서 각 처치는 각 계층에 최소한 한 번 이상 나타나야 한다. 따라서 각 계층은 최소한 처치의 수만큼의 시험단위를 포함하게 된다. 이와 같이 무작위층화 설계를 사용하는 근본적인 이유는 종속변수에서 나타나는 변이 중의 일부를 외부적 층화기준에 할당함으로써 실험오차를 줄이려는 것이다.
물론 두 개 이상의 외부적 층화기준을 사용하여 시험단위들을 여러 계층으로 구분할 수도 있는데, 이는 처치집단의 수를 기하급수적으로 증대시켜 실험에 필요한 시험단위의 수를 많게 할 뿐 아니라, 외부적 층화기준들의 전체적인 영향은 알 수 있지만 개별적인 외부적 층화기준의 영향을 분리할 수는 없다. 전자의 문제는 시간과 비용을 많이 지출하여 해결할 수 있으며 후자의 문제는 라틴방격 설계를 이용함으로써 완화할 수 있다.
| 계층 시험단위들의 특성 |
| 1
상업지역 - 백화점 2 주거지역 - 백화점 3 상업지역 - 할인점 4 주거지역 - 할인점 |
2-3. 라틴방격 설계
두 개의 외부적 층화기준이 갖는 효과를 통제하고 측정하기 위해서는 라틴방격 설계(LSD, latin square design)를 계획해야 하는데, 행과 열은 모두 이러한 외부적 층화기준을 나타낸다. 그러나 이러한 실험설계에서는 각 외부적 층화기준의 범주가 처치의 수와 동일해야 하는데, 예시에서는 실험처치가 세 가지이므로 점포의 입지를 상업지역, 주거지역, 사무지역으로 구분하고 점포의 형태도 백화점, 할인점, 수퍼마켓으로 구분해야 한다. 마찬가지 원리에서 실험처치의 수가 다섯 가지라면 행과 열의 수도 5가 되어야 하므로 5x5 라틴방격 설계가 된다.
라틴방격 설계의 또 다른 특성은 실험처치를 각 처치집단에 무작위로 할당하는 데 있어서 반드시 행과 열에 한 번씩만 나타나야 한다는 점이다. 따라서 실험처치를 A, B, C,...라고 한다면 라틴방격 설계는 다음과 같다.
|
점포의 입지 |
| 상업지역 주거지역 사무지역 | |
| 백화점 | A B C |
| 할인점 | B C A |
| 수퍼마켓 | C A B |
한편 라틴방격 설계가 두 개의 외부적 층화기준을 허용하는 데 반해 그리코 라틴방격 설계는 세 개의 외부적 층화기준을 포함할 수 있다.
2-4. 요인배치 설계
앞에서 살펴본 완전무작위 설계, 무작위층화 설계, 라틴방격 설계 등의 통계적 실험설계는 - 설사 여러 가지의 값(실험처치)을 가질지라도 - 단지 하나의 독립변수가 종속변수에 대해 미치는 효과를 검토하기 위한 것이다. 이에 비해 요인배치 설계(FD, factorial design)란 두 개 이상의 독립변수가 종속변수에 미치는 동시적인 효과를 밝히기 위해 적용할 수 있는 통계적 실험설계이다. 더욱이 요인배치 설계는 독립변수들 사이에 교호작용이 있는지의 여부도 밝혀준다는 점에서 매우 유용하다.
요인배치 설계에서는 몇 가지 용어들이 독특한 의미로 사용되고 있으며, 조사자는 우선 이러한 용어들의 정의를 정확하게 이해해야 한다.
* 요인(factor) -- 요인이란 실험기간 동안 조작되는 독립변수로서 예를 들면, 제품디자인이나 가격, 색채, 유통경로, 가격 등이다.
* 수준(level) -- 수준이란 요인의 효과가 검토되는 구체적인 실험처치의 값이다. 요인수준은 요인이 가격일 때 2천원, 3천원, 5천원 등과 같이 계량적이거나 색채일 때 빨강, 노랑, 파랑과 같이 비계량적(범주적)일 수 있으나 요인배치 설계에서는 항상 요인수준들이 범주로 취급된다는 점에 유의해야 한다.
* 실험처치(treatment 또는 treatment combination) -- 실험처치란 각 요인에 대해 하나씩 선택된 요인수준들의 조합으로서 예를 들면, '2천원의 가격과 노란 포장'이나 '5천원의 가격과 파란 포장' 등이다.
* 반응(response) -- 반응이란 특정한 실험처치를 적용받은 시험단위의 종속변수값이다. 예를 들어, 340단위의 매출액은 '3천원의 가격과 빨간 포장'이라는 실험처치에 대한 반응일 수 있다.
* 요인효과(factor effect) -- 요인효과란 한 요인의 상이한 수준 사이에서 나타나는 반응상의 차이를 말한다. 예를 들어, 다른 요인(들)이 불변이고 가격요인이 2천원의 수준(하나의 실험처치)과 3천원(또 다른 실험처치)으로 설정했을 때, 각 수준이 340단위와 310단위의 매출액 반응을 산출했다면 가격요인의 효과는 30단위의 차이라고 말할 수 있다. 만일 세 개 이상의 요인수준이 존재한다면 요인의 효과가 약간 다른 방법으로 측정되어야 하는데, 각 요인수준에서의 반응차이를 평균할 수 있을 것이다.
* 주효과(main effect) -- 한 요인의 수준을 변화시킬 때 나타나는 요인효과가 다른 요인(들)의 수준과는 관계없이 동일하다면 그 요인은 다른 요인(들)과 독립적이라고 볼 수 있다. 이 때 그러한 효인효과는 자체만의 변화에 기인하는 것이며 요인의 주효과라고 부른다. 주효과의 크기는 모든 실험처치들이 적용되었을 때 특정한 요인이 다수의 요인수준에 걸쳐 보이는 평균적 효과로 나타낼 수 있다.
* 교호작용(interaction) -- 한 요인의 수준이 갖는 효과(요인효과)가 다른 요인의 수준에 따라 다르게 나타난다면 두 요인은 독립적이지 않고, 그들 사이에 교호작용이 있는 것이다. 예를 들어, 청량음료 가격(한 요인)의 10% 인상(가격요인의 요인효과)이 캔음료의 경우(용기형태라는 요인의 한 수준) 매출액을 4000단위나 감소시키지만, 병음료의 경우(용기형태라는 요인의 다른 수준) 매출액을 1500단위만 감소시킨다면 가격변경과 용기의 형태라는 두 요인 사이에는 교호작용이 있는 것이다.
2-4-1. 두 개 이상 독립변수들의 동시적 효과 분석
요인배치 설계의 한 가지 장점은 두 개 이상의 독립변수가 하나의 종속변수에 미치는 동시적인 효과를 검토할 수 있다는 점인데, 예시를 위해 판촉방법과 매장형태가 매출액에 미치는 동시적인 효과를 검토해 보기로 하자. 이러한 조사문제에 대해서는 당연히 요인배치 설계가 계획되어야 하며, 이 때 조사자는 두 개의 독립변수(판촉방법과 매장형태)를 고려하는 것이다.
이미 용어에서 설명한 바와 같이 요인배치 설계에서는 독립변수를 요인이라고 부르며 독립변수의 값(독립변수의 범주)을 요인의 수준이라고 한다. 따라서 다음에서 매장형태라는 요인은 두 개의 수준을 가지며, 판촉방법이라는 요인은 세 개의 수준을 가지므로 전체적으로 2x3 요인배치 설계를 구서한다.
또한 여기서 A1B1, A1B2, A2B3와 같이 매장형태의 각 수준과 판촉방법의 각 수준을 결합한 여섯 가지의 조합을 실험처치라고 하며, 시험단위들이 무작위로 할당되어 각 실험처치를 받게 될 때 동일한 실험처치를 받게 되는 시험단위들을 처치집단이라고 한다.
|
판촉방법 |
| 경품행사(B1) 누적할인(B2) 프리미엄(B3) | |
정규매장(A1) 특설매장(A2) |
A1B1
A1B2
A1B3 A2B1 A2B2 A2B3 |
이 때 동일한 실험처치를 적용받은 시험단위라도 그들의 종속변수값이 다를 수 있는데, 조사자는 이러한 종속변수의 가변성(variability)을 평가하기 위해 시험단위들 사이의 변이를 계산해야 한다. 따라서 각 처치집단에는 두 개 이상의 시험단위가 필요하며, 예시에서 전체적으로 필요한 시험단위의 수는 12개 이상이다.
물론 시험단위들 사이의 종속변수의 변이를 계산하기 위해 처치집단별 두 개 이상의 시험단위가 필요하다는 요건은 각 처치집단에 시험ㅁ단위를 하나씩만 할당한 후, 실험을 실시하고 다시 반복(복제)함으로써 해결할 수도 있다.
2-4-2. 독립변수들간의 교호작용 탐지
이제 요인배치 설계가 독립변수들이 상호독립적인지 또는 교호작용을 갖는지를 밝혀주는 과정을 검토해 보자.
예를 들어, 포장을 금색이나 청색으로 하고 가격을 5천원과 6천원으로 할 때 네 가지의 실험처치에 대한 시험단위들의 매출액이 다음(주효과만을 나타내는 2x2 요인배치 설계)과 같다고 가정하자. 이 때 가격이라는 요인과는 관계없이 포장을 금색에서 청색으로 바꿀 경우에는 60단위의 매출액 감소가 나타나며, 포장이라는 요인에 관계없이 가격을 5천원에서 6천원으로 인상할 경우에는 30단위의 매출액 감소가 나타났다.
따라서 실험오차가 없고 외생적 요인들의 영향이 적절하게 통제되었다면 포장과 가격은 상호독립적이며, 이 때 60단위와 30단위의 매출액 감소는 각각 포장과 가격요인의 주효과이다.
포장 |
|||
| 금색(G) | 청색(B) | ||
가격 |
5천원 | R(5천원, G)=400 | R(5천원, B)=340 |
| 6천원 | R(6천원, G)=370 | R(6천원, B)=310 | |
그러나 만일 실험의 결과가 다음(교호작용 또는 실험오차를 보여주는 2x2 요인배치 설계)과 같이 나타났다면 어떻게 되겠는가?
포장 |
|||
| 금색(G) | 청색(B) | ||
가격 |
5천원 | R(5천원, G)=400 | R(5천원, B)=340 |
| 6천원 | R(6천원, G)=370 | R(6천원, B)=300 | |
여기서 가격요인의 변화가 매출액에 미치는 효과는 포장요인의 수준에 따라 다르게 나타난다. 즉 가격을 5천원에서 6천원으로 인상했을 때 금색포장의 경우에는 30단위의 매출액 감소를 야기시키만 청색포장의 경우에는 40단위의 매출액 감소를 야기시킨다. 또한 포장의 효과도 역시 가격의 수준에 따라 다르게 나타난다. 즉 포장을 청색에서 금색으로 변경했을 때 가격이 5천원이 경우에는 60단위의 매출액 감소를 야기시키지만 가격이 6천원인 경우에는 70단위의 매출액 감소를 야기시킨다.
이러한 차이(한 요인의수준에 따라 나타나는 다른 요인의 효과차이)는 실험오차 또는 두 요인 사이의 교호작용으로 설명될 수 있으므로, 만일 실험오차가 없다고 가정하면 교호작용이 존재한다는 사실을 보여주는 것이다.
즉 두 개 이상의 독립변수가 동시에 작용하면 전체효과가 각 요인의 주효과 합계보다도 크게 나타나는 경우가 많으며, 이러한 추가적인 효과를 교호작용의 효과(interaction effect)라고 한다. 마케팅에서 변수간의 교호작용은 대단히 보편적인 현상으로서 요인의 수가 증가함에 따라 교호작용의 수도 다음과 같이 증가하는데, 요인배치 설계는 이러한 교호작용을 확인하고 측저애 줄 수 있다는 점에서 대단히 유용하다.
| 요인 주효과 교호작용의 효과 |
| A, B
A, B
AB A, B, C A, B, C AB, BC, AC, ABC |
한편 무작위층화 설계에서는 외부적 층화기준과 독립변수 사이에 교호작용이 없다고 가정하며, 라틴방격 설계에서는 두 개의 외부적 층화기준 사이에도 교호작용이 없다고 가정하고 있음을 참고로 하기 바란다.
