제러미 킹Jeremy King은 약 30년 동안 기술분야에서 근무했다. 그리고 지난 15년간 기업이 의사결정을 개선하기 위해 실험과 데이터를 이용하는 일을 도왔다. 현재 이미지 공유 플랫폼 핀터레스트의 기술 수석부사장인 킹은 HBR과의 인터뷰에서, 실험접근법의 이점과 이를 위해 필요한 문화에 대해 이야기했다. 대담 내용을 발췌 편집해 싣는다.
HBR: 언제 A/B테스트가 당신 업무의 일부가 됐습니까?
킹: 2001~2008년까지 이베이에서 일했고, 재임 후반부에는 실험 플랫폼과 A/B테스트가 업무의 중심이 됐습니다. 초기에는 대부분의 실험이 회사의 검색엔진에 집중됐습니다. 당시 이베이 사이트에서는 1억 개의 제품을 판매했는데, 우리는 다양한 용어로 검색할 때 사용자에게 표시되는 내용을 최적화하기 위해 끊임없이 노력했습니다. 서치 키워드와의 관련성을 유지하되, 가끔 우연한 발견도 나오게 하는 게 목표였죠. 이베이, 엣시Etsy, 핀터레스트 같은 플랫폼에서는 검색기능이 너무 정확하기를 바라지 않습니다. 사람들이 검색하다가 새로운 걸 발견하도록 탐험을 장려하는 거죠. 따라서 우리는 다양한 검색결과를 실험하고 거래 수, 클릭률, 탐색시간 등의 지표를 측정해서 최상의 조합을 얻으려고 합니다.
실험에서 탁월한 성과를 내려면 어떤 종류의 문화가 필요합니까?
실험에서 성공하려면 사람들이 데이터를 기반으로 의사결정을 내려야 합니다. 대부분의 기존 기업은 혁신적 변화가 필요하죠. 많은 조직에서 회의실의 상급자, 해당 문제의 전문가나 책임자가 주로 자신의 본능에 따라 일방적으로 의사결정을 내립니다.
핀터레스트에 입사했을 때 가장 인상 깊었던 건, 직원의 65%가 이전 6일 동안 빅데이터 시스템에서 쿼리query를 수행해본 적이 있다는 점이었습니다. 제품엔지니어나 임원뿐만 아니라 인사팀이나 법무팀 직원들도 마찬가지였죠. 회의에서 누군가가 질문을 하면, 사람들의 일반적인 반응은 추측 대신 노트북을 휙 열어서 고객 거래를 보고 데이터 기반의 답변을 찾는 겁니다.
전통적인 비디지털 조직에서 그러한 환경으로 전환하기는 얼마나 어려운가요?
그런 기업의 가장 큰 문제는 사람들이 데이터에 접근하지 못한다는 겁니다. 많은 기업들이 데이터 민주주의에 대해 이야기하기를 좋아하지만 사생활 보호 같은 장벽이 있습니다. 저는 회의적인 생각을 가진 여러 업계 사람들에게 많은 질문을 받습니다. “정말 이 모든 데이터를 회사 전체가 볼 수 있도록 허용해야 합니까?” 데이터 민주주의는 투자와 문화적 변화를 필요로 하지만, 회사의 더 많은 이들이 데이터에 접근하도록 허용해서 얻는 이익은 상당합니다. 더 나은 의사결정을 내릴 수 있도록 하기 때문이죠.
