데이터는 엄청난 기회를 제공하지만 이를 실현하고자 하는 기업들은 대부분 비효율적인 전략을 구사하고 있다.
원인
데이터에 공을 들이지만 미래 데이터 사용을 위한 기반을 닦지 못하고 실패하는 기업이 많다. 각 팀이 용도 변경이 불가능한 애플리케이션을 위해 맞춤형 데이터 파이프라인을 만들고 있기 때문이다.
해결책
다양한 유형의 사용자와 애플리케이션의 요구 사항에 맞춰 조정할 수 있는 표준 데이터 제품을 만든다. 제품 관리는 사업 단위 내 전담팀이 담당할 수 있으며 이때 설계를 조정, 표준화하는 중앙 기능의 지원을 받는다.
데이터가 가진 힘을 모르는 기업은 없다. 그러나 대부분은 그 잠재력을 최대한 끌어내지 못해 고심한다. 데이터 기술은 예측할 수 없는 방식으로 발전하고 새로운 유형의 데이터가 등장하며 데이터 양은 계속 증가하고 있다. 문제는 이런 상황에서 데이터 투자로 단기적 가치를 창출하는 동시에 데이터의 활용 범위가 빠르게 확대되는 미래에 대처할 토대를 마련해야 한다는 점이다.
두 글로벌 기업의 사례는 오늘날 지배적인 데이터 전략이 이런 도전 과제에 대응하는 데 얼마나 비효율적인지 보여준다. 첫 번째 사례로 한 대형 아태지역 은행은 데이터 최종사용자의 요구사항을 한 번에 충족시킬 수 있을 것이란 생각으로 모든 분석개발 팀과 ‘빅뱅’ 접근법을 시행했다. 비즈니스 사용 사례에 맞추기 위해 많은 시간을 할애하는 대신 시스템의 모든 데이터를 추출, 정리하고 이를 클라우드의 데이터 레이크에 집계하는 파이프라인을 구축하는 대규모 프로그램을 시작했다. 새로운 플랫폼을 만드는 데 거의 3년이 걸렸다. 그러나 임시 분석ad hoc analysis을 위해 가공되지 않은 원 데이터raw data를 찾는 사용자 등 일부 사용자를 제외하고는 쉽게 사용할 수 없었다. 이뿐만 아니라 맞춤형 고객을 위한 실시간 데이터 피드 등 잠재적 애플리케이션 다수의 주된 아키텍처 요구사항도 간과했다. 결과적으로 프로그램은 회사에 많은 가치를 창출하지 못했다.
두 번째 사례로 북미의 한 대형 은행은 개별 팀마다 기존 데이터 소스와 시스템을 자체적으로 활용하게 하고 비즈니스 사용 사례에 필요한 기술을 추가 조합하도록 했다. 팀들은 디지털 채널을 위한 고객 세분화customer segmentation개선, 리스크 보고의 효율성 제고 등의 과제를 해결해 어느 정도 가치를 창출했다. 하지만 전체적으로 봤을 때는 용도 변경이 불가능한 채 지저분하게 엉킨 맞춤형 데이터 파이프라인 덩어리만 남았을 뿐이었다. 디지털 혁신 노력을 기울였지만 어마어마한 비용이 들고 속도가 지연됐다. 모든 팀이 이렇게 지저분하게 엉킨 상태에서 시작해야 했기 때문이다.