하버드비즈니스리뷰

해마다 기업들은 고객을 끌어들이고 붙들며 재구매를 유도하는 마케팅 작업에 수십억 달러를 지출합니다. 이런 엄청난 규모의 투자에도 불구하고 이들 계획이 정말로 효과가 있는지, 개선의 여지가 있는지 판가름하는 것은 정말로 어려운 일이죠. 광고 캠페인의 투자수익률(ROI)을 측정하는 방법으로 A/B 테스트가 흔히 이용됩니다. A/B 테스트에서 소비자는 두 타깃 그룹으로 나뉘며 테스트 후 그룹 간의 결과가 비교되죠. 올바른 분석적 접근이 이뤄진다면 이러한 A/B 테스트는 유용한 시사점을 제공할 수 있지만 여기서 매우 잘못된 판단을 내리는 일도 드물지 않습니다.

A/B 테스트의 실행 방식에서 오는 단점을 이해하기 위해 가상의 예시를 들어보겠습니다. 여러분이 고객유지율이 낮아져 걱정하고 있는 예술 기관과 작업한다고 상상해 볼까요. 이때 회원 탈퇴 가능성이 높다고 판단되는 회원들에게 회원 재가입에 대해 알리면서 작은 선물도 함께 보내는 방안을 고려하고 있다고 합시다. 하지만 여기에는 비용이 들기 때문에 이를 좀 더 광범위하게 확대하기에 앞서 확실히 효과가 있는지 확인하고 싶죠. 그래서 소규모의 파일럿 캠페인을 진행하기로 하는 겁니다. 선물을 받게 되는 ‘위험군’과 그렇지 않은 다른 한 그룹을 무작위로 선정하고 선물을 받는 이들이 회원제를 좀 더 갱신하는지 살펴보는 것이죠.

자, 이제 선물을 받은 그룹과 대조군 간에 유지율의 차이를 전혀 발견할 수 없다고 가정해 볼까요. 여기서 분석을 종료하게 되면 여러분은 선물 프로그램의 중지라는 결론에 이르게 될 것입니다. 이 데이터만 놓고 보면 선물 증정이 유지율에 어떠한 영향도 주지 못했다는 말이니까요. 하지만 고객의 하위 그룹을 대상으로 더 자세히 조사해 보면 다른 이야기가 드러날 수 있습니다. 예를 들어 작년에 해당 기관을 방문한 하위 그룹에 대해서는 선물이 회원제 갱신 가능성을 사실 크게 올렸던 것이고, 오랫동안 이곳을 방문하지 않았던 사람들에게는 선물이 그곳을 얼마나 드물게 방문했는지를 오히려 더 일깨우는 기능을 해서 회원제 갱신으로 잘 이어지지 않았다는 것이죠. 어떠한 작업의 평균적 효과를 평가하는 데 A/B 테스트를 쓰면 어떤 소비자에게 캠페인이 그래도 효과가 있는지에 대한 중요한 정보가 가려질 가능성이 있습니다. 분석 결과 해당 작업이 긍정적, 부정적 효과를 미치든 또는 이 글의 예시처럼 별 영향을 미치지 못하든 말이죠. 그 결과 마케팅 책임자들은 어떠한 소비자에게 무슨 캠페인을 실시해야 하는지에 있어 잘못된 결정을 내리게 되는 것입니다.

아티클을 끝까지 보시려면
유료 멤버십에 가입하세요.
첫 달은 무료입니다!

로그인 멤버십 결제