9-1 마케팅 실험의 개념
1. 관련용어들의 정의
다음은 마케팅 실험에 관한 문헌에서 널리 사용되고 있는 용어로서, 조사자는 이러한 용어들의 정의를 명확하게 이해하고 있어야 한다.
* 실험처치(experimental treatment) -- 실험처치란 효과가 측정되는 독립변수(들)의 조작으로서 예를 들면, 가격변경, 새로운 제품 디자인, 새로운 포장, 새로운 유통방식, 새로운 광고물 등이다.
* 시험단위(test units) -- 시험단위란 마케팅 실험을 위해 추출된 표본구성원을 말한다. 이중 실험처치에 대한 반응을 조사하게 되는 소비자나 점포 등을 실험단위(experimental units)라고 부르며, 실험처치를 적용받지 않고 단순히 시험기간 동안 관찰되는 소비자나 점포 등을 통제단위(control units)라고 부른다. 또한 실험단위들을 집합적으로 실험집단(experimental group), 통제단위들을 집합적으로 통제집단(control group)라고 한다.
* 시험시장(test market) -- 시험시장이란 실험처치를 적용받는 지역과 시험기간동안 관찰되는 지역(통상 도시)으로서 시험단위의 특별한 예가 된다. 간혹 마케팅 실험이 기업의 전체시장에서 실시되기도 한지만, 시험시장에서 실시되는 마케팅 실험은 몇 가지의 이점을 갖는다. 첫째, 조사자가 통제할 수 있는 내생적 변수와 통제할 수 없는 외생적 요인을 분리하고 측정하기가 용이하다. 둘째, 실험집단에 덧붙여 통제집단을 사용하기 위해서는 지역적인 시험시장들이 필요하다. 셋째, 지역수준의 실험은 전국수준의 실험에 비해 비용이 적게 소요될 뿐 아니라 새로운 전략(실험처치)이 실패로 밝혀졌을 때 철회가 용이하다.
* 관찰치(observation) 또는 반응(response) -- 관찰치 또는 반응이란 특정한 시점에서 시험단위에 대한 측정치나 실험처치를 적용받은 후 시험단위에 있어서 나타나는 결과를 말하는데, 결국 종속변수(통상 매출액)의 값이다.
* 복제(replication) -- 복제란 본래의 실험여건을 완전히 또는 거의 같게 하여 실행하는 실험의 반복인데, 충분한 수의 시험단위를 확보할 수 없을 경우 실험오차를 계산하기 위해서 또는 실험오차와 같은 추정치의 정밀성을 높이기 위해 여러 차례의 복제가 이루어 질 수 있다.
* 실험의 외생적 요인(extraneous forces) -- 외생적 요인이란 종속변수(시험단위의 반응)에 영향을 미치는 요인 중에서 실험처치 이외의 모든 것(들)이다. 외생적 요인에는 위치와 규모와 같은 '시험단위들간의 차이'와 날씨나 경쟁자의 행동과 같은 '통제불가능한 요인'이 있다.
* 실험오차(experimental error) -- 실험오차는 간혹 'residual', 'residual variation', 'chance variation', 'residual error'라고도 불리우며, 종속변수의 변이중 실험처치에 의해 설명되지 않는 부분을 말한다. 시험단위들의 반응에서 이러한 실험오차는 여타의 조건을 갖게 한 시험단위들(matched test unites) 사이에서조차 나타나는 가변성, 확인되지 않은 외생적 요인의 효과, 측정의 가변오차 등으로부터 기인한다.
2. 마케팅 실험의 목표
마케팅 실험은 기본적으로 `실험처치의 효과가 유의적'이라는 가설을 검증하기 위해 수행되며, 또한 변수간의 관계를 상술하기 위해 필요한 관찰자료를 산출해 준다.
2-1. 가설의 검증
마케팅 실험의 기본적인 목표는 실험처치로 인해 결과에 어떤 유의적인 차이가 발생되는지의 여부를 검증하는 일이다. 예를 들어, 마케팅 관리자는 포장 디자인의 변경이 매출액에 유의적인 차이를 야기시키는지의 여부에 관심을 가질 수 있는데, 마케팅 실험의 전형적인 귀무가설은 "하나의 실험처치(이전의 포장)를 적용받은 시험단위(점포)에서의 매출액과 다른 실험처치(새로운 포장)를 적용받은 시험단위에서의 매출액 사이에 유의적인 차이가 없다"는 명제이다. 그 다음 조사자는 적절한 유의수준(대체로 0.05 또는 0.01)에서 이러한 귀무가설을 검증하기 위해 통계적 분석을 수행하게 된다.
여기서 유의수준(significance level)이란 의사결정과 관련하여 조사자 또는 정보이용자 받아들일 수 있는 제1종 과오(귀무가설이 진실인데도 그것을 기각할 과오)의 최대크기를 나타내는 것이다. 이에 반해 실험결과에서 나타난 효과차이가 우연히 발생되었으며, 실험처치에 기인한 것이 아니라고 인정할 수 있는 확률은 p-값이라고 부른다.
즉 p-값이 5% 미만이라면 조사자가 귀무가설을 기각함으로써 제1종 과오를 범할 가능성은 5%미만이 된다. 따라서 0.05의 유의수준에서 검증할 경우, 실험결과에서 나타난 효과차이가 우연히 발생되었을 확률이 5%미만이라면(즉 흔히 발생하지 않는 희귀한 일이라면) 조사자는 귀무가설을 차라리 기각시켜 최악의 경우라도 유의수준에 의해 허용되는 범위 내의 제1종 과오를 범하게 된다.
그러나 실험결과에서 나타난 효과차이가 우연히 발생되었을 확률이 5%보다 클 때 귀무가설을 기각하는 일은 5%보다 큰 제1종 과오를 범할지도 모르므로 어쩔 수 없이 `유의적인 차이가 없다'는 귀무가설을 채택하게 된다.
그러나 특정한 유의수준에서 귀무사설을 채택하는 것은 귀무가설이 옳다는 뜻이 아니라, 단지 표본조사의 결과만을 갖고 귀무가설을 기각하기에는 통계적 증거가 불충분하는 뜻임에 유의해야 한다. 그러므로 조사자가 귀무가설을 채택할 때에는 그것이 허위이고, 대립가설('유의적인 차이가 있다')이 맞을 수도 있기 때문에 확률의 크기가 알려지지 않은 제2종 과오를 범할 수 있다.
한편 귀무가설을 설정하고 유의수준을 결정하는 데 있어서 조사자는 두 가지 유형의 과오가 함축하는 의미를 고려해야 한다. 예를 들어, 제1종 과오가 치명적이라면 아주 작은 유의수준(예컨대, 0.01 또는 0.005)을 선택해야 할 것인데, 이처럼 작은 유의수준은 제2종 과오의 가능성을 증대시키므로 조사자는 역시 제2종 과오의 함축적 의미도 고려해야 한다.
또한 제2종 과오에는 민감하지만 제1종 과오에 별로 민감하지 않은 경우라면, 귀무가설을 큰 유의수준(예컨대, 0.1 또는 0.25)에서 검증할 수 있다. 그것은 큰 유의수준이 제1종 과오의 가능성을 증대시키지만, 제2종 과오의 가능성을 대단히 감소시키기 때문이다.
예를 들어, 마케팅 관리자가 두 가지 제품모델 중에서 하나를 선택해야 하고 그들의 성과에서 큰 차이가 없다면 제1종 과오은 치명적이 아니다. 즉 마케팅 관리자가 우수하다고 판단한 어느 모델을 선정하여도 실제에 있어서는 모델간의 차이가 없으므로 별다른 해가 없는 것이며, 제1종 과오를 범할 높은 가능성이 수용될 수 있다.
그러나 제2종 과오가 심각한 기회비용을 야기시키는 경우도 있다. 귀무가설이 실제로는 허위인데도 불구하고 그것을 채택한다면, 마케팅 관리자는 두 가지 제품모델의 잠재매출액 사이에 유의적인 차이가 없다고 생각하여 그릇된 모델을 선정할지도 모른다.
개인적 선호나 비용고려 등의 다른 여건들이 의사결정자를 편의시키지 않는다면 귀무가설을 채택하였을 때, 그가 우수한 모델을 선택할 가능성은 단지 50%에 불과하다. 그러므로 이러한 경우에 있어서 제2종 과오가 갖는 기회비용의 기대값은 그릇된 모델을 선정함으로써 잃게되는 잠재이익의 50%가 된다. 따라서 기회비용의 기대값이 큰 경우에는 제2종 과오의 가능성을 극소화시켜야 하는데, 제2종 과오의 가능성은 관찰의 수(표본의 크기)를 늘리거나 유의수준을 증대시킴으로써 감소될 수 있다.
2-2. 관찰자료의 산출
마케팅 조사에 있어서 보편적인 목표는 집단들 사이에 존재하는 차이를 분석하거나 마케팅 변수들 사이의 관계(이상적으로는 매출액과 마케팅 믹스의 요소 사이의 인과관계)를 상술하는 것인데, 마케팅 실험은 풍부한 경험자료를 생성시켜 조사자로 하여금 변수간의 관계를 상술할 수 있도록 도와준다. 예를 들어, 조사자가 매출액과 가격에 관한 일련의 관찰치들을 산출하기 위해 가격을 조작하면서 매출액을 관찰한다면 가격과 매출액 사이의 관계를 암시받을 수 있을 뿐 아니라 가격변수에 관해 효과적인 전략을 수립할 수 있게 된다.
즉 마케팅 변수들간의 관계를 상술하기 위해 적용되는 모든 분석은 어느 정도의 관찰자료들을 필요로 하는데, 자료가 충분히 가용하지 않은 경우에서 마케팅 실험은 그러한 자료를 생성시킬 유일한 방법이기도 하다. 간혹 변수들간의 관계를 상술하기 위해 필요한 자료를 마켓 시뮬레이션을 통해 생성시킬 수도 있으나, 그러한 경우에도 시뮬레이션 모델을 구성하기 위해서는 어느 정도의 경험자료가 필요할 것이다.
3. 마케팅 실험의 장점과 한계점
3-1. 마케팅 실험의 장점
자료를 수집하고 분석하기 위해 마케팅 조사에서 이용되는 대부분의 기법들은 기술적 기법(descriptive techniques)으로서, 결코 인과적 관계를 상술해 주지 못한다. 그러나 마케팅 실험에서는 조사자가 독립변수(들)를 직접적으로 조작하고 통제할 수 있으므로 종속변수와 독립변수 사이의 명확한 인과적 관계를 상술할 수 있는데, 이러한 점에서 마케팅 실험은 간혹 인과적 조사(causal research)라고도 불리우며, 탐색적 또는 기술적 조사와 다른 것이다.
즉 탐색적 조사나 기술적 조사는 모두 사후조사(ex post facto research)라는 점에서 마케팅 실험과 다른데, 그러한 조사에서는 일단 종속변수를 관찰한 후, 왜 그러한 종속변수값이 나타났는지를 설명해줄 수 있는 독립변수(들)를 찾아내게 된다. 이러한 형태의 분석에서 조사자는 독립변수(들)에 대해 전혀 통제할 수 없기 때문에 고려중인 독립변수 이외에 다른 요인들이 종속변수에 미치는 영향을 추정할 수 없으며, 또한 그러한 변수들의 발생순서도 밝힐 수 없기 때문에 인과적 추론이 불가능하다.
물론 인과적 관계가 너무나도 명백한 경우에서는 기술적 조사만을 근거로 하여 인과적 관계를 추론할 수도 있으나, 조사자는 결코 그러한 관계에 대해 확신을 가질 수 없다. 또한 실험에 따른 시간이나 비용 등의 제약으로 인해 어쩔 수 없이 기술적 조사를 사용하여 인과관계를 추론할 경우에도 주의해야 한다.
이러한 점에서 마케팅 실험은 인과적 조사를 설계하고 실행하기 위한 우수한 수단으로서 여러 가지의 장점을 갖는다. 첫째, 독립변수가 종속변수에 대해 미치는 효과를 계량적으로 나타내 줄 뿐 아니라, 원하는 신뢰수준에서 종속변수의 추정치가 갖는 오차의 범위도 나타내 준다. 둘째, 두 개 이상의 독립변수의 효과를 동시에 검증할 수 있다. 셋째, 독립변수들이 대체로 소규모로 조작되므로 위험이 적다. 즉 마케팅 믹스 상의 변경을 전체시장에 일반화시키려는 의사결정에 앞서서 그러한 독립변수의 조작이 갖는 효과를 제한된 범위 내에서 소규모로 측정해 볼 수 있는 것이다. 넷째, 마케팅 실험은 대체로 현실적 환경 내에서 실시되므로 수요예측모델을 구성하기에 필요한 정보를 산출해 준다.
3-2. 마케팅 실험의 실행상 한계점
마케팅 실험은 실험실시를 저지하거나 실험결과의 유용성을 저해할 수 있는 여러 가지 제약도 갖고 있으므로 조사자는 다음과 같은 실행상의 한계점을 고려해야 한다.
첫째, 조사자는 외생적 요인으로부터 시험단위들이 받는 영향을 상쇄시키기 위해 대단히 유사한 시험단위들(perfectly matched units)을 선정하거나 대단히 많은 수의 시험단위들을 선정해야 한다. 이는 마케팅 실험실시의 적합성(compatibility)을 말하는 것으로서, 실제의 마케팅 실험에서는 시험단위들이 매우 상이하고, 수적으로도 충분하지 않기 때문에 적합성의 문제가 제기될 수 있다.
둘째, 마케팅 실험을 실시하는 데 있어서 하나의 시험단위는 다른 시험단위로부터 영향을 받기 쉽다. 예를 들어, 실험처치가 가격인하인 경우, 통제점포의 고객들이 실험점포에서의 낮은 가격을 전해듣고 몰려와 실험처치의 효과를 과장시킬 수 있는데, 이러한 현상을 오염(contamination)이라고 한다.
셋째, 조사자가 시험단위들에 대해 통제권한을 갖지 않는 경우에는 실험처치의 효과가 왜곡되기 쉬운데, 시험단위의 판매원이나 관리자로부터 협력을 제대로 얻지 못한다면 실험관리(management)의 문제가 제기될 수 있다.
넷째, 조사자가 시계열 자료(time-series data)를 얻기 위해 동일한 시험단위에 의존하든가 또는 마케팅 실험이 장기간에 걸쳐 실시되는 경우에 있어서는 시험단위의 사망이나 폐업 등의 망실(mortality)의 문제가 심각할 수 있다.
다섯째, 마케팅 실험의 설계와 수행에는 수주일 이상의 장기간이 소요되므로 의사결정을 그 때까지 연기해야 하는 시간(time)의 문제를 야기시킨다. 또한 실험기간이 지나치게 짧고 실험처치가 신기할 경우라면 실험처치의 효과가 과장될 수 있다.
여섯째, 마케팅 변수들을 실험적으로 조작하다는 사실은 비현실적이지만, 그렇다고 해서 새로운 제품모델이나 마케팅 전략을 외부에 완전히 노출하면 경쟁자들이 그것을 복제하거나 보복적인 조치를 취할 수 있다. 따라서 조사자는 현실성(realism)과 보안성(security)을 함께 고려해야 한다.
일곱째, 조사자는 간혹 기술적인 제약으로 인해 제품을 실험용으로 적은 양만 이용하기가 곤란한 경우에 당면하기도 한다. 예를 들어, 정기항공노선의 경우에서는 마케팅 실험이 불가능할 정도로 항공기의 가격이 비싸다. 이러한 분할성(divisibility)의 문제는 촉진변수에도 관련되는데, 전국매체는 지역적으로 분할하여 구매될 수 없을 것이다.
여덟째, 마케팅 실험은 마케팅 변수의 조작이 전국적으로 실시될 때나 영구적인 변화의 경우에 비해 비용이 적게 소요되지만, 역시 비용이 소요되므로 자금압박을 야기시킬 수 있다.
4. 인과관계의 개념
마케팅에 있어서는 "새로운 포장이 매출액을 10% 증대시켰다" 또는 "5%의 가격인하가 매출액을 25% 증대시켰다"와 같은 인과적 관계의 가설(specific X-cause-Y hypothesis)을 흔히 볼 수 있는데, 이러한 형태의 가설은 마케팅 프로그램의 평가나 새로운 전략수립에서 대단히 유용한 정보를 제공해 준다.
그러나 인과성(causality)에 대한 일반적인 개념과 학술적인 개념 사이에는 뚜렷한 차이가 있다. 즉 일반적인 개념에서 인과관계는 단 하나의 사상 X(cause)가 항상 다른 하나의 사상 Y(effect)를 야기시킨다는 의미(deterministic causation) 이며 X가 바로 Y의 원인이 되지만, 학술적인 개념에서 인과관계는 Y가 여러 가지 요인들의 결합으로써 나타나는 결과이며 X는 단지 그러한 요인들중 하나에 불과할 수 있음 (probabilistic causation)을 뜻한다.
또한 학술적인 개념에서는 X가 Y의 원인이라는 것을 명확하게 증명할 수도 없고 단지 그러한 인과관계의 존재를 추론할 뿐이다. 즉 마케팅 현상에서 인과적 관계(causal relationship)를 추론하기 위해서는 다음과 같은 조건들이 충족되어야 한다.
4-1. 변이발생의 동시성
변이의 동시발생(concomitant variation)이란 원인 X와 효과 Y가 함께 발생하거나 가설에 의해 언급된 바와 같이 함께 변화는 정도를 말하는 것으로서, X가 Y의 원인이라는 진술의 타당성을 보여준다. 예를 들어, 판매원의 교육수준이 매출액에 영향을 미친다는 가설 하에서 교육수준이 판매원이 판매를 잘 하고 그렇지 못한 판매원이 판매를 잘 못할 때, 또는 광고캠페인이 소비자의 태도를 변화시켜 매출액을 증대시킨다는 가설하에서 광고캠페인이 실시된 후 매출액의 증대가 나타났을 때 조사자는 두 변수 사이에 변이가 동시에 발생한다고 말할 수 있으며, 인과적 관계의 가설을 그대로 유지할 수 있다.
그러나 인과적 관계를 인정하기 위해서는 아직도 첫째, 매출액의 증가가 오히려 소비자의 태도를 변경시키지는 않았는지? 둘째, 다른 요인에 의해 매출액이 증대된 것은 아닌지?와 같은 문제를 검토해야 한다.
4-2. 변수간의 시간적 순서
두 번째 문제인 변수간의 시간적 순서(time occurrence of variables)는 한 변수가 적용되기 전후의 다른 변수(들)를 관찰함으로써 추론할 수 있다. 예를 들어, 영양식을 먹이기 전후의 건강상태를 관찰하였을 때 허약한 어린이가 건강한 어린이로 바뀌었다면 영양식이 건강의 원인이라고 추론할 수 있다. 즉 원인이 되는 사상은 효과가 나타나기 전 또는 그러한 효과와 동시에 발생되어야 한다.
이와 같이 변수간의 시간적 순서는 비교적 단순한 개념이기는 하지만, 간혹 두 개의 사상이 서로 원인과 효과가 되는 경우도 있다. 예를 들어, 개선된 태도가 매출액을 증대시킬 수도 있고, 구매가 태도를 우호적으로 변화시킬 수도 있다. 물론 이러한 형태의 관계에서 어느 것이 원인이고 결과인지를 확인하기 위해서는 구매의사결정에 관한 마케팅 이론을 참조할 수 있다.
이제 변수들 사이에 동시발생적 변이와 시간적 순서가 확인되었지만, 인과적 관계를 정당화하기 위해서는 아직도 세 번째 문제(X와 Y 사이의 관찰된 관계가 다른 요인에 의해 야기된 것이 아닌가?)가 남아있다.
4-3. 여타의 원인적 요인의 제거
"소다수가 사람을 취하게 만든다"는 인과관계의 가설을 검증하기 위해 무작위로 할당된 세 개의 실험집단에 각각 스카치, 버번, 보드카와 소다수를 혼합하여 마시게 했다고 가정하자. 이 때 모든 실험집단에서 소다수의 혼합음료를 마시는 일과 취한다는 사실 사이에 동시발생적 변이를 발견할 수 있을 뿐 아니라, 인과적 관계를 추론하기 위한 두 사상의 시간적 순서도 뚜럿하므로 "소다수가 사람을 취하게 만든다"는 인과적 가설을 채택해야 할 것인가?
아마도 알콜성분이라는 소다수 이외의 다른 요인이 관찰된 결과의 원인임을 누구나 쉽게 알 수 있을 것이다. 이처럼 인과적 관계는 있을 수 있는 여타의 원인적 요인을 제거한 후에나 추론될 수 있는 것이다.
