칼렙 찰랜드의 사진은 일상적 사물을 사용해 예술과 과학을 결합해서 세상에 대한 우리의 관점과 자연의 법칙을 가지고 논다.
최근 몇 년 동안 온라인 A/B테스트는 크게 증가했다. 그 가치의 중요성이 인식되고, 테스트하는 데 드는 기술비용이 상대적으로 저렴해졌기 때문이다. 요즘은 디지털 기업은 물론이고 점차 전통적 기업들까지도 통제군 ‘A’(현재 방식)가 실험군 ‘B’(개선안)보다 열등한지 평가하는 온라인실험을 매해 수만 건씩 시행하고 있다. 실험을 통해 개선안에 대한 사용자 반응을 빠르게 파악해서 디지털 제품을 업데이트하고, 새로운 제품을 만들어내는 최선의 방법을 찾을 수 있다. 모든 사람에게 공개되기 전에 무작위로 선정된 소규모 그룹을 대상으로 혁신을 시도해보기 때문에, 의도하지 않은 부작용의 위험도 줄어든다. 또한 어느 한 혁신의 효과를 객관적으로 측정할 수 있기 때문에, 일상적으로 일어나는 성장과 혁신으로 창출되는 매출, 참여, 기타 핵심 비즈니스 지표의 증가를 구분해 파악할 수 있다. 이러한 중요한 정보를 토대로 기업은 기회를 포착하고 투자수익률을 정확하게 평가할 수 있다.
많은 회사에서 A/B테스트는 이제 제품 개발주기의 필수 부분이다. 신제품 출시 또는 기존 제품의 변경 여부와 시기, 미개척 시장 또는 고객 세그먼트에 대한 침입 여부와 방법, 여러 비즈니스 영역에 자본을 배분하는 방법 등의 의사결정이 모두 테스트 결과에 기반해 이뤄진다. 성공적인 A/B테스트가 회사 미래의 핵심이라고 해도 과언이 아니다. 그러나 실험을 수행하는 데 심각한 실수를 저지르는 경우가 많다. 하버드경영대학원에서 진행했던 연구와 넷플릭스 및 링크트인의 데이터과학책임자로서의 경험을 통해, 우리는 회사의 접근법에 세 가지 주요 함정이 있음을 밝혔다. 이 아티클에서 우리는 넷플릭스와 링크트인에서 효과를 본 방법을 적용해 이런 함정을 피할 수 있는 방법을 설명하고자 한다. 이 방법들이 실험을 더 효율적으로 이용해 회사의 성과를 향상시키는 데 도움이 될 것이다.