헤더 바로가기 메뉴 바로가기 푸터 바로가기
인사조직 & 리더십

실험이 일상인 조직문화 만들려면?

스테판 톰케(Stephan Thomke)
매거진
2020. 3-4월호
Spotlight
생산적 혁신

39


실험이 일상인 조직문화 만들려면?

툴이 전부가 아니다.
마인드를 바꿔라.



휴가철 직전인 2017년 12월 초, 온라인 여행사 부킹닷컴(booking.com)의 디자인 디렉터는 회사 홈페이지에 완전히 새로운 레이아웃을 시범 적용해 보자는 급진적인 실험을 제안했다. 기존의 부킹닷컴 홈페이지에서는 호텔, 렌털, 여행상품 등 수많은 옵션을 보여주고 있었다. 그런데 디자인 디렉터가 새롭게 제안한 홈페이지에는 어디로, 언제, 몇 명이 여행을 가는지를 묻는 작은 창이 있고, ‘숙박’ ‘항공’ ‘렌터카’ 등 간단한 세 가지 옵션만이 제시됐다. 부킹닷컴이 수년간 시간을 들여 최적화해 온 사진과 문구와 버튼과 메시지 등 다른 모든 내용과 디자인 요소는 삭제하자는 제안이었다.

당시 부킹닷컴의 CEO였던 길리언 탄스는 디자인 디렉터의 이런 제안에 회의적이었다. 그는 부킹닷컴의 충성도 높은 고객들이 홈페이지 변경으로 혼란을 겪게 될 거라고 우려했다. 당시 핵심 실험팀의 루카스 베르메르 팀장은 테스트 결과가 ‘폭망’하리라는 데 샴페인 한 병을 걸었다. 홈페이지 방문자 대비 예약자 수 비율, 고객전환율 같은 주요 성과지표가 폭락할 거라고 그는 전망했다.

이렇게 비관론이 대세였는데, 경영진은 왜 이 실험에 반대하지 않았을까? 만약 반대한다면, 회사의 어느 누구라도 경영진의 승인 없이 무엇이든 테스트해볼 수 있다는 부킹닷컴의 핵심 원칙 중 하나를 위반하는 것이었기 때문이다.


41

부킹닷컴에서는 1000건이 넘는 엄격한 테스트가 동시에 진행된다. 내 추정에 따르면 연간 2만5000건 이상의 테스트가 이뤄지는 셈이다. 어느 한 시점에 1000조 개의 페이지 조합이 활성화되는데, 이는 두 명의 고객이 같은 페이지에 있더라도 동일한 화면을 볼 가능성이 아주 낮다는 뜻이다. 이렇게 수많은 실험을 통해 부킹닷컴은 20년이 채 안 되는 기간에 네덜란드의 작은 스타트업에서 세계 최대 온라인 숙박예약 플랫폼으로 변모했다.

온라인실험의 힘을 발견한 회사는 부킹닷컴만이 아니다. 아마존, 페이스북, 구글, 마이크로소프트 같은 디지털 대기업들은 마케팅과 혁신에서 온라인실험이 시장의 판도를 바꾸는 ‘게임 체인저’라는 사실을 깨달았다. 마이크로소프트 빙에서는 온라인실험을 통해 매달 수십 건의 개선 성과를 냈으며, 이에 힘입어 검색 1회당 매출이 연간 10%에서 25%까지 상승했다.(HBR코리아 2017년 9-10월호 ‘온라인실험의 놀라운 힘’ 참고) 페덱스, 스테이트 팜, H&M을 비롯해 디지털 기반이 아닌 기업들도 최고의 디지털 접점, 디자인 선택, 가격 할인, 제품 추천 등을 위해 온라인 테스트를 활용하고 있다.

“점차 디지털화되는 세상에서 대규모 실험을 하지 않는 기업은 장기적으로, 그리고 어떤 산업에서는 단기적으로도 죽음에 이르게 됩니다.” 온라인 여행사 익스피디아그룹의 CEO 마크 오커스트롬은 말했다. “매순간 우리는 수백만 명의 방문자를 대상으로 수백 건의 실험을 동시에 진행합니다. 덕분에 우리는 고객이 뭘 원하는지 추측할 필요가 없습니다. 가장 큰 규모의 ‘고객설문조사’를 반복적으로 시행해서 고객이 스스로 자신이 원하는 게 무엇인지 우리에게 얘기해주도록 하는 역량을 갖추고 있습니다.”

그러나 10여 개 이상의 조직을 연구하고 1000건이 넘는 익명의 실험 데이터를 분석한 결과, 나는 부킹닷컴과 익스피디아 같은 기업은 소수에 불과하다는 사실을 알게 됐다. 대부분의 기업은 매해 수백, 수천 건이 아니라 기껏해야 효과가 미미한 수십 건의 온라인 테스트만을 진행하는 데 그쳤다.

테스트가 정말 중요하다면 왜 기업들은 더 많이 테스트를 하지 않을까? 수년간 이 질문에 대해 연구한 결과, 나는 조직문화가 주요 원인이라는 답을 찾았다. 회사가 온라인실험 역량을 확장하려 할 때 직면하는 장애물은 주로 툴과 기술이 아니라 공유 행동, 신념, 가치였음이 드러났다. 실험 한 건이 성공할 때 거의 열 건은 실패한다. 효율성, 예측가능성, ‘승리’를 중요시하는 대부분의 조직의 시각에서 바라보면 ‘실패는 곧 낭비’다.

성공적으로 혁신하려면 예산이 여유롭지 못할 때조차도 실험을 일상의 필수적인 부분으로 삼아야 한다. 그러려면 직원의 호기심을 키우고, 데이터가 의견보다 우선하고, R&D 직원뿐 아니라 누구나 테스트를 해볼 수 있고, 모든 실험은 윤리적으로 실행되고, 경영진은 새로운 리더십 모델을 받아들일 수 있는 환경이 조성돼야 한다. 이 아티클에서는 탄탄한 실험문화를 갖춘 부킹닷컴을 포함해 몇몇 모범 사례 기업을 살펴보고자 한다.


호기심을 키워라

경영진에서 말단사원에 이르기까지, 조직의 모든 사람이 놀라운 발견의 가치를 깨달아야 한다. 물론 놀라운 발견에 금전적 가치를 매기기는 어렵다. 언제, 얼마나 자주 놀라운 발견이 이뤄질지 예측하는 것도 불가능하다. 하지만 기업이 이런 실험적 사고방식을 받아들이면, 호기심이 만연한 환경이 조성된다. 사람들은 실패를 값비싼 실수가 아닌 학습의 기회로 보게 된다.

아마존의 모바일게임 ‘에어 패트리엇’의 개정판이 그 대표 사례다. 플레이어가 비행기 편대의 공격으로부터 성을 방어하는 내용의 게임이다. 아마존이 이 게임의 새로운 버전을 출시했을 때 개발팀은 반응에 당황할 수밖에 없었다. 7일간 유저 지속률이 놀랍게도 70%나 떨어졌으며 매출은 30% 감소했다. 개발팀은 실수로 게임 난이도가 약 10% 올라갔다는 사실을 발견했다. 아마존은 신속하게 해결책을 선보였다. 그런데 이때 개발자들은 혹시 게임을 더 쉽게 만들면 유저 지속률과 매출이 더 개선될 수 있을지 궁금해졌다. 이를 알아내기 위해 통제군을 둔 채 추가로 네 개의 새로운 난이도 버전을 만들어 테스트해봤고, 가장 쉬운 게임이 가장 좋은 성과를 낸다는 사실을 알게 됐다. 몇 가지 개선작업 이후에 아마존은 새로운 버전을 출시했다. 이번에는 유저의 게임시간이 20% 늘어났으며 매출은 20% 증가했다. 실수로 인한 하나의 사건에서 놀라운 통찰을 얻고, 그것이 다시 새로운 실험의 출발점이 된 것이다.

안타깝게도 이런 사례는 이례적이다. 많은 기업에서 실험과 관련한 위험 때문에 경영진은 실험에 자원을 할당하기를 꺼린다. 그러나 믿음을 갖고 실험을 감행하는 기업은 결실을 얻게 되며, 다른 기업들도 뒤따르도록 용기를 줄 수 있다.

많은 기업이 실험의 성격과 횟수에 대해 너무 보수적인 태도를 취한다. 성공적인 실험의 중요성을 지나치게 강조하면 직원들은 자신에게 익숙한 솔루션 혹은 효과를 이미 알고 있는 솔루션에만 집착해서, 실패할지 모르는 아이디어는 테스트하려 들지 않는다.

사실 적은 수의 실험을 하는 것보다 많은 수의 실험을 하는 게 실제로 덜 위험하다. 부킹닷컴의 경우 실험의 약 10%만이 성공적인 결과를 낸다. 즉, 무작위로 할당된 사용자들을 대상으로 매출, 재구매율, 클릭률, 사용자가 사이트에서 보내는 시간 등의 주요 지표를 개선하기 위해 새로 제안된 실험군 ‘B’가 현 상태인 통제군 ‘A’보다 기대처럼 더 나은 성과를 보이는 경우가 전체의 10%에 불과하단 얘기다.(부킹닷컴은 이런 식의 A/B테스트 외에도 동시에 하나 이상의 변경을 가해 평가하는 더 복잡한 테스트도 수행한다.) 하지만 아주 많은 실험을 진행하면 성공률이 낮더라도 여전히 꽤 많은 수의 성공 사례를 얻게 되고, 따라서 실패에 따른 재무적·감정적 비용이 낮아진다. 만약 회사가 1년에 몇 번의 실험만 한다면 성공이 단 한 건밖에 되지 않거나, 운이 나쁘면 성공 사례를 전혀 얻지 못할 수도 있다. 이런 경우에는 실패가 큰 문제가 된다.

내가 연구한 여러 회사에서 새로운 제품 및 서비스 개발 초기에 진행했던 아이디어 테스트의 성공률은 10%보다 훨씬 더 낮았다. 그러나 초기 실패는 개발자들에게 바람직하지 않은 방법을 신속하게 제거하고 보다 가능성 있는 대안에 집중할 수 있게 해준다.

실험적 조직문화에서 직원들은 실패의 가능성을 두려워하지 않는다. 부킹닷컴의 모든 테스트를 총괄하는 베르메르 팀장은 “우리 회사에서 잘나가는 사람은 호기심이 많고, 편견이 없고, 새로운 것을 깨닫고 배우고 싶어하는 열망이 있고, 자신이 틀렸다는 사실이 드러나도 괜찮다고 생각하는 사람들”이라고 말한다. 채용담당자들은 이런 사람을 찾아 채용한다. 그리고 회사는 신규 채용자들이 자신의 본능에 따라 일할 수 있는 권한을 부여받도록 실험훈련을 포함한 혹독한 온보딩을 제공하며, 이들이 모든 테스트 도구를 쓸 수 있게 해준다.

데이터가 의견보다 우선해야 한다

강한 반대의견과 충돌하더라도 온라인실험의 실증적 결과가 우선해야 한다. 누구의 의견이더라도 마찬가지다. 부킹닷컴에서는 실험을 우선시하지만, 다른 곳에서는 인간의 본성에 어긋나는 일이라 이런 회사를 보기는 쉽지 않다. 우리는 자신의 편견이 옳다는 ‘좋은’ 결과는 기쁘게 받아들이는 반면, 자신의 가정에 반하는 ‘나쁜’ 결과에는 의문을 제기하고 철저히 조사하는 경향이 있다.

해결책은, 옳다는 사실이 입증된 실험결과는 받아들이고 따르는 것이다. 예외를 거의 둬서는 안 된다. 부킹닷컴의 한 디렉터는 이렇게 말했다. “웹사이트 윗부분 헤더가 분홍색이어야 한다는 테스트 결과가 나오면 분홍색으로 바꾸세요. 항상 테스트 결과를 따라야 합니다.”

고위급 임원들에게 이 규칙을 준수하도록 만들기는 쉽지 않다. “누군가에게 무언가를 이해시키기는 어렵다. 특히 그가 그 사실을 이해하지 못하는 대가로 월급을 받을 때!”라는 미국 작가 업턴 싱클레어의 농담처럼 말이다. 그러나 임원들도 반드시 규칙을 따라야 한다. 히포(HiPPO, 하마)란 말이 있다. ‘가장 월급을 많이 받는 사람의 의견(highest-paid person’s opinion)’의 약자다. 히포만큼 빠르게 혁신을 무력화시킬 수 있는 것은 없다.

잠깐, 여기서 내가 모든 경영적 의사결정이 온라인실험에 따라 이뤄질 수 있거나 이뤄져야 한다고 주장하는 것은 아니다. 예를 들어 기업의 인수합병 여부에 대한 전략적 의사결정을 실험으로 테스트해 보기란 불가능하거나 매우 어렵다.

46

그러나 온라인으로 테스트할 수 있는 모든 걸 테스트한다면, 실험은 경영진이 의사결정을 내리는 데 중요한 도움이 될 수 있고 또 건강한 논의가 이뤄지도록 부채질할 수 있다. 때로는 논의 결과 의도적으로 데이터를 뒤엎는 선택을 내리게 될 수도 있다.

넷플릭스의 한 코미디 시리즈와 관련한 의사결정에서 그런 일이 일어났다. 넷플릭스는 대규모 실험을 위해 정교한 인프라를 구축한 회사다. 2018년 월스트리트저널 기사에 따르면, 넷플릭스 드라마 ‘그레이스와 프랭키’의 두 스타 배우 릴리 톰린과 제인 폰다의 사진이 모두 포함된 프로모션보다, 릴리 톰린의 사진만 포함된 프로모션의 테스트 클릭수가 더 높게 나오자 경영진은 당황했다. 콘텐츠팀은 제인 폰다를 프로모션에서 제외하면 그를 소외시키는 것이며 계약 위반이 될 수도 있다고 염려했다. 실증적 증거와 ‘전략적 고려사항’이 서로 대립하는 상황에서 담당자들의 열띤 토론이 이뤄졌다.

결국 넷플릭스는 고객 데이터가 보여주는 결과와 다르더라도 두 배우가 모두 포함된 이미지를 프로모션에 사용하기로 결정했다. 그러나 어쨌든 실험에서 얻은 데이터 덕분에 각각의 선택지에 따르는 장단점을 보다 확실하게 알 수 있었다.

민주적 실험문화를 구축하라

앞서 언급했듯이, 부킹닷컴의 모든 직원은 경영진의 승인 없이 수백만 명의 고객을 대상으로 실험을 시작할 수 있다. 1800명의 기술 및 제품 직원 중 약 75%가 회사의 실험 플랫폼을 적극적으로 사용한다. 표준 템플릿을 통해 어렵지 않게 테스트를 설정할 수 있으며, 사용자 모집, 무작위 배정, 방문자 행동 기록, 결과 보고 등의 프로세스가 자동화된다. 과거에는 한 개의 핵심 실험팀과 다섯 개의 위성팀이 조직 전체에 교육과 지원을 제공하는 역할을 맡았다. 하지만 필요성이 커지면서, 베르메르 팀장 산하 네 개의 중앙팀이 있고 ‘대사’라고 불리는 전문가들이 제품팀에 배치되는 구조로 최근 변경됐다.

원활한 테스트 진행을 위해 개인이나 팀은 실험명, 목적, 관련된 이전 실험의 주요 수혜자(고객 또는 공급업체), A/B, A/B/C 또는 A/B/n 테스트에서 시도할 수정횟수 등을 포함한 온라인 양식을 작성하며, 이 정보는 모두에게 공개된다. 실험이 시작되면 팀은 처음 몇 시간 동안 실험 진행상황을 면밀히 관찰한다. 1차 혹은 2차 성과지표가 빠르게 하락하면 테스트를 중단할 수 있다. 초기 기간 이후에는 플랫폼에서 데이터 품질 검사가 자동 진행되고, 문제가 있는 경우 경고메시지가 발송된다. 개방성을 장려하기 위해 부킹닷컴은 과거 실험의 성공, 실패, 반복, 최종 결정에 대한 전체 내용을 검색 가능한 중앙저장소에 저장한다. 그리고 모든 사람이 현재진행 중인 실험에서 생성되는 정보를 실시간으로 볼 수 있다.

“다소 아이러니하게도 실험 인프라의 중앙집중화가 우리 조직의 분산화를 가능하게 해줍니다.” 베르메르는 말한다. “모두가 같은 툴을 사용합니다. 그래서 서로의 데이터에 대한 신뢰가 생기고, 토론과 책임이 가능해집니다. 마이크로소프트, 페이스북, 구글 같은 기업들이 머신러닝 같은 분야에서는 우리보다 기술적으로 더 발전했지만, 간단한 A/B테스트를 통해 모든 사람이 참여하도록 만드는 것은 우리가 더 잘합니다. 우리는 테스트가 조직 전체에서 민주적으로 활용되도록 만들었습니다.”

물론 민주적 실험문화에는 어려움이 따른다. 한 가지 문제는 어느 팀 또는 개인이 뭔가를 잘못 건드려서 웹사이트가 다운될 수 있다는 점이다. 또 다른 문제는 각 팀이 방향을 스스로 설정하고 어떤 사용자 문제를 해결할지 판단해야 한다는 점이다. 이는 진정한 문제가 무엇인지에 대한 광범위한 교육과 팀원들 간의 지속적인 토론을 필요로 한다. 토론은 장려되고, 무엇이든 의문이 드는 일을 발견하면 사람들은 동료들과 이야기한다. 누구나 실험을 시작할 수 있는 것처럼, 누구든 실험을 중단할 수 있다. 그러나 타인에 의해 실험이 중단되는 일은 실험이 치명적으로 잘못 흘러가는 흔치 않은 경우에만 일어난다. 이를테면 밤에 누군가가 혼자 사무실에 앉아있는데 어떤 실험으로 인해 고객전환율 같은 주요 지표가 급락하는 걸 보고, 그 실험이 지속되면 회사의 매출이 수백만 달러 감소할 것으로 예상해서 긴급조치를 취하는 그런 상황 말이다.

이런 실험 시스템은 각 팀에 자신이 생각하는 가치 있는 새로운 접근법을 시도하는 데 필요한 자율성을 부여하고, 전 직원이 실험을 모니터링하고 실시간으로 피드백을 제공할 수 있게 해준다. 부킹닷컴의 비즈니스 개선방법에 대해 누구든, 어떤 아이디어든 테스트할 수 있게 만들어준다.


윤리적 민감성을 높여라

새로운 실험을 구상할 때 사용자가 비윤리적이라고 생각하지 않을지 신중하게 검토해야 한다. 항상 명확한 답이 있는 것은 아니지만, 검토하지 않는다면 반발에 부딪칠 위험이 있다. 2012년 페이스북은 감정상태도 전염성이 있는지 알아보기 위해 일주일간 실험을 했다. 알고리즘에 따라 선정되는 게시물, 스토리, 활동 등의 뉴스피드를 재조정해, 사람들이 긍정적인 뉴스기사에 덜 노출되면 긍정적인 게시물을 줄이고, 반대로 부정적인 뉴스기사에 덜 노출되면 부정적인 게시물을 줄이는지 테스트했다. 거의 69만 명의 페이스북 사용자들이 무작위로 뽑혀 테스트 대상이 됐다. 그중 약 31만 명은 자신도 모르게 뉴스피드에서 조작된 감정표현에 노출됐고, 나머지는 통제군으로 선정됐다. 통제군의 사람들은 동일한 수의 게시물이 무작위로 제외된 버전을 보게 됐다.

페이스북과 코넬대 연구진이 실험결과를 학술지에 발표하자 대중은 분노했다. 페이스북의 데이터과학팀은 수년간 아무런 논란 없이 사용자들 모르게 이런 실험들을 진행해 왔지만, 이 감정조작 실험은 특히 공분을 샀다. 비평가들은 실험 참가자들이 페이스북의 일반적인 데이터사용 정책에 동의했다는 점만으로 넘어갈 수 있는 문제인지를 따졌다. 이들은 데이터가 연구목적으로 수집됐으며, 원하면 테스트를 거부할 수 있다는 점을 페이스북이 사용자들에게 더 분명히 고지했어야 했다고 비판했다. 학습 측면에서 실험은 성공적이었다. 매우 작은 효과지만 어쨌든 온라인에서 감정적 전염이 일어난다는 사실이 밝혀졌다. 그러나 일부 사용자들은 자신이 과학이라는 명분 아래 페이스북에 이용당했다고 느꼈다.

연구에 따르면, 새로운 아이디어를 먼저 테스트하는 회사는 실험을 하지 않고 새로운 정책을 실행하는 경쟁사들보다 더 엄격한 고객의 심사를 받는다. 헬스케어, 자동차디자인, 세계빈곤 등의 분야에서 16건의 연구를 분석한 생명윤리학자 미셸 메이어와 연구진은, 참가자들이 전체 인구를 대상으로 검증되지 않은 정책(A 또는 B)을 모두에게 동등하게 실행하는 것보다 A/B테스트를 하는 것을 도덕적으로 더 못미더워 한다는 사실을 보여줬다. 두 가지 선택지 모두 수용할 만한 내용인 경우에도 마찬가지였다. 즉, 테스트라는 것 자체에 대한 거부감을 갖는 것이다.

분명히 윤리교육과 일종의 감시가 필요하다. 문제는 사람들을 지나치게 조심스럽게 만들거나, 프로세스가 너무 복잡해지지 않는 방식으로 감시해야 한다는 점이다. 바로 그런 이유로 부킹닷컴은 어떤 종류의 테스트를 해볼 수 있는지에 대한 규칙을 상명하달 식으로 정하지 않는다. 그 대신 직원들에게 제안된 실험이나 정책이 고객에게 도움이 될지 아니면 해가 될지 질문할 것을 권장한다. “감찰반이나 윤리심의위원회를 두고 싶지는 않습니다.” 부킹닷컴의 최고제품책임자 데이비드 비스먼스는 말한다. “그건 확장가능한 솔루션이 아닙니다. 병목현상을 가져오게 되고, 테스트를 감시하면 직원들이 자신에게 권한이 없다고 느끼게 됩니다.” 회사는 전 직원에게 열려 있는 내부 온라인 포럼에서 토론을 장려한다. 활발한 토론이 이뤄질 수 있고, 이를 통해 고객이 거래를 완료하도록 유도하는 방법(‘지금 예약하지 않으면 자리가 없어집니다’ ‘남은 방 단 3개’ 같은 메시지) 등의 문제를 다뤄왔다. “커뮤니티 안에서 자율 교정이 이뤄지는 게 더 낫습니다.” 비스먼스는 설명한다.

이를 위해 부킹닷컴의 온보딩 프로세스에는 윤리교육도 포함된다. 대규모 실험 프로그램을 보유한 또 다른 회사 링크트인은 조금 다른 접근법을 취한다. 링크트인은 “회원에게 부정적인 경험을 제공할 의도이거나, 회원의 기분이나 감정을 바꾸려는 목적이거나, 회원의 기존 설정이나 선택을 무시하는” 실험을 수행해서는 안 된다는 내부 지침을 만들었다.


새로운 리더십 모델을 도입하라

민주적으로 실험하고 스스로 진행한 테스트 결과를 따르게 하면, 직원들은 스스로 좋은 의사결정을 내리고 혁신과 개선을 가속한다. 그러나 대부분의 의사결정이 이런 식으로 이뤄진다면, 회사의 전략적 방향을 수립하고 어떤 기업을 인수할지 같은 중요한 의사결정을 내리는 일 말고 고위경영진이 할 수 있는 일은 뭐가 남을까? 적어도 네 가지가 있다.

1. 커다란 도전과제를 설정하라. 그리고 각각에 대해 테스트 가능한 가설과 주요 성과지표를 직원들이 설정하게 하라.

직원들은 자신의 실험이 전체적인 전략목표에 어떻게 기여하는지 볼 수 있어야 한다. 부킹닷컴의 경영진이 직원들에게 업계 최고의 온라인 경험(UX)을 디자인하도록 지시했다고 해보자. 경영진은 우수한 UX가 고객 트래픽 증가로 이어지고, 부킹닷컴 플랫폼에 더 많은 공급업체를 유치하고, 고객 기반 및 활동을 확장하는 데 도움이 되리라고 기대한다. 그러한 목표를 달성하기 위해 직원들은 가설 및 관련 지표를 수립할 수 있었다.

예를 들어 중요한 텍스트를 강조하면 고객들이 중요한 정보를 더 쉽게 찾을 수 있어서 전환율이 높아지고, ‘클릭 한 번으로 가능, 비용 없음’ 같은 예약취소 옵션은 순 호텔 예약건수를 낮추지 않으면서도 사용자 재구매율을 높일 수 있다.

2. 대규모 실험이 가능한 시스템, 자원, 조직 디자인을 갖추라.

거의 모든 아이디어를 과학적인 방법으로 테스트하려면 장비, 데이터 파이프라인, 데이터 과학자 등의 인프라가 필요하다. 여러 제3자 툴과 서비스를 이용하면 실험을 쉽게 수행할 수 있지만, 규모를 확장하려면 테스트 역량을 회사 프로세스에 긴밀하게 통합시켜야 한다. 그러려면 중앙집중화와 분산화 간의 균형을 적절히 유지해야 한다.

중앙집중화된 그룹에서는 개발자, 사용자 인터페이스 디자이너, 데이터 분석가 등 실험을 전담하는 전문가 집단이 회사 전체를 대상으로 여러 실험을 수행하고 최신 기법과 툴을 도입하는 데 집중한다. 그러나 테스트를 하는 업무가 소규모 전문가 그룹에게만 제한되면 실험규모를 확장하고 조직문화를 변화시키기 어려워진다. 반면 분산화된 테스트에서는 여러 사업부문에 전문가팀을 배치한다. 분산화 접근법은 조직의 여러 부분에서 실험이 이뤄지도록 할 수 있지만, 전문가들 간의 지식 공유를 방해하고 목표가 서로 충돌하거나 일관된 테스트를 진행하기 어렵게 만들 수도 있다. 초반에 조직 전반의 참여를 이끌어내기 위해서는 분산화가 필요할 수 있지만, 그 후에는 실험역량을 향상시켜야 한다. 부킹닷컴이 진화한 방향도 마찬가지였다. 처음에는 위성팀을 이용해 회사 전체에 실험을 전파했지만, 위성팀이 사용자 지원 때문에 너무 바쁜 나머지 회사 전체의 역량을 구축하는 데 집중하지 못한다는 문제점이 드러났다. 이를 해결하기 위해 최근 부킹닷컴은 전담 부서가 사업부문을 지원하고, 실험에 대한 접근법을 표준화하고, 모범 사례가 전파되도록 하는 CoE(Center of Excellence, 탁월성 센터) 모델로 전환했다.

51


3. 롤모델이 되라.

리더는 다른 모든 이들과 똑같은 규칙을 따르고, 자신의 아이디어를 테스트해야 한다. “자신이 항상 제일 잘 안다고 생각하는 자만심을 가져서는 안 됩니다.” 탄스는 말한다. “만약 제가 CEO로서 누군가에게 ‘내가 우리 사업에 이 방법이 좋다고 생각하니까 이렇게 하세요’라고 지시한다면, 직원은 나를 똑바로 쳐다보고 ‘알겠습니다. 이 방법을 테스트해보고 맞는지 알아보겠습니다’라고 대답할 겁니다.” 상사들은 지적 겸손을 보이고, 자신이 ‘모른다’고 인정하는 것을 두려워하지 말아야 한다. 이들은 과학적 방법론의 아버지, 프랜시스 베이컨의 조언을 귀담아 들어야 한다. “확신을 갖고 시작하면 의심으로 끝난다. 그러나 의심을 갖고 시작하면 확신으로 끝난다.”

4. 말만으로 행동이 바뀌지 않는다는 점을 인정하라.

궁극적으로, 실험 중심적 조직에서 리더가 된다는 것은 직원들이 스스로 테스트를 할 수 있도록 맡기고 권한을 준다는 뜻이다. 이는 단지 사람들에게 실험을 하라고 말하는 것만으로 이뤄지지 않는다. IBM에서와 같은 공동의 노력이 필요하다.

2015년 당시, 실험은 IBM의 핵심 활동이 아니었다. 회사의 IT부문은 테스트 실행을 제안했지만 비용이 많이 들고, 사업부문으로 그 비용이 다시 청구됐으며, 엄격한 절차를 따라야 했다. 테스트 부서에는 단 한 명의 전문가만 있었는데, 그는 제안된 수많은 실험을 테스트하기에 불충분해 보인다는 이유로 거부하는 일종의 수문장 역할을 했다. 그 결과 IBM에서는 그해에 97회의 테스트만이 이뤄졌다.

이후 최고마케팅책임자의 지원을 받아 마케팅분석책임자였던 아리 셰인킨이 실험업무를 맡게 되면서, 전 세계 5500명의 IBM 마케터들은 자체적으로 테스트를 수행할 수 있게 됐다. 마케터들이 테스트를 하도록 유도하기 위해 셰인킨은 여러 단계를 거쳤다. 사용하기 쉬운 툴을 설치하고, CoE를 만들어 지원을 제공하고, 규정을 준수하며 실험을 하기 위한 프레임워크를 도입하고, 모든 사람에게 교육을 제공하고, 모든 비즈니스 그룹이 온라인 테스트를 무료로 이용할 수 있게 했다. 또한 마케팅 부문에 30일 동안 총 30회의 온라인실험을 수행하도록 하는 초기 ‘테스트 블리츠’를 실시했다. 이후 가장 혁신적이거나 가장 확장가능한 실험을 선정하기 위한 분기별 콘테스트도 개최했다. 마케팅 부문 예산의 일부분을 실험계획에 할당하는 더욱 강력한 방법도 이용했다. 이러한 노력은 빛을 발했다. 2018년 연간 테스트 수는 2822회로 급증했다.


----------------------------

실험의 혁신적 힘을 실현하려면 지속적인 노력이 필요하다. 시간이 지남에 따라 실험은 수천 가지의 작은, 그리고 작지 않은 변화를 야기하며, 이 모두가 합쳐 커다란 효과를 낸다. 올바른 툴을 제공하는 것은 중요하지만 쉬운 부분이며, 이것만으로는 실험문화를 구축하는 데 충분치 않다.

비스먼스는 이렇게 말한다. “CEO에게 해줄 조언이 하나 있다면 다음과 같습니다. 대규모 테스트는 기술적인 게 아닙니다. 완전히 받아들여야 할 문화적인 것입니다. 스스로에게 크게 두 가지 질문을 해야 합니다. 내가 얼마나 틀렸는지 매일 직면할 용기가 있는가? 직원들에게 얼마나 많은 자율권을 줄 의향이 있는가? 그 대답이 만약 ‘내가 틀렸다는 사실을 받아들이기 싫고 직원들에게 제품의 미래를 결정하도록 자율권을 주기 싫다’라면, 효과가 없을 겁니다. 실험의 이점을 충분히 얻지 못할 겁니다.”

여기서 교훈은, 어느 실험 하나가 성공하든 실패하든 그건 그렇게 중요하지 않다는 것이다. 중요한 것은 불확실성 아래 조직의 의사결정이 어떻게 이뤄지느냐다. 믿음이나 견해만으로 결정을 내려서는 안 된다. 실험을 해볼 수 있다면, 해야 한다.

스테판 톰케(Stephan Thomke)는 하버드경영대학원 경영학 교수다.
(03187) 서울시 종로구 청계천로 1 동아일보사빌딩 9층 (주)동아일보사
대표자: 김재호 | 등록번호: 종로라00434 | 등록일자: 2014.01.16 | 사업자 등록번호: 102-81-03525
(03737) 서울시 서대문구 충정로 29 동아일보사빌딩 8층 (주)디유넷(온라인비즈니스)
대표이사: 김승환, 김평국 | 통신판매신고번호: 제 서대문 1,096호 | 사업자 등록번호: 110-81-47558