헤더 바로가기 메뉴 바로가기 푸터 바로가기
데이터 사이언스

AI 덕분에 문과생도 데이터를 분석할 수 있다

디지털
2021. 4. 23.
Mar21_19_HBRStaff_2

기술이 발전함에 따라 기업 분석 역시 지난 몇 년간 빠르게 변화해 왔습니다. 예측 모델을 포함한 분석적(analytics) 접근 방식이 묘사적(descriptive) 접근 방식을 대체하기 시작했죠. 묘사적 분석은 이전에도 많은 사람에게 도움이 됐지만 시각적 분석을 더 많이 활용하고 비전문가인 일반 사용자들도 스스로 분석할 수 있는 셀프서비스 모델까지 발전해 왔습니다. 전반적으로 기업 분석은 더 쉽고 강력한 비즈니스 도구가 돼 가고 있습니다.

그러나 이러한 발전에도 불구하고 데이터와 분석을 통해 조직 내 여러 중요한 현상을 이해하고 예측하기란 여전히 어렵습니다. 예측 모델을 만들고 사용하려면 상당량의 과거 데이터와 전문 지식이 필요하기 때문에 사용 방법이나 시기적인 면에서 그 한계가 드러나기도 합니다. 또 사용자가 자유롭게 조정할 수 있도록 하려다 보니 묘사 분석을 사용하는 데 더 오랜 시간이 걸리게 되는 경우도 많습니다. 더구나 그것이 묘사적이든 예측적이든, 기존의 분석적 접근 방식은 특정 기능이나 부서에만 초점이 맞춰져 다소 편협하게 발전해 왔다고 할 수 있습니다. 비즈니스상의 많은 문제가 여러 기능과 부서에 동시에 영향을 미침에도 불구하고 이런 중요한 문맥적 정보가 분석 모델에는 포함되지 않는 것이죠. 부서 이기주의로 인해 시스템과 데이터의 교류가 이뤄지지 않을 때도 있고, 데이터 분석가들이 관련 데이터를 잘 모르거나 데이터에 쉽게 접근할 수 없는 상황도 많기 때문입니다.

한 가지 좋은 소식은 어느 정도 자동화할 수도 있고 문맥 정보를 포함시킬 수도 있는 차세대 기업 분석 방법이 부상하고 있다는 겁니다. 인공지능, 자동화, 기존 정보 시스템 간의 연결 등으로 가능해진 혁신이죠. 데이터나 분석 결과에 따라 어떤 결정이 내려질지, 역할에 기반해 추정하는 것도 필요합니다. 이런 것들을 통해 분석가의 사전 준비 없이도 통찰이나 제안 사항을 마련해 의사결정권자에게 바로 전달할 수 있습니다.

마치 구글 앱이 집 주소와 캘린더상의 스케줄, 지도 정보를 기반으로 ‘비행기를 놓치지 않으려면 지금 출발해야 한다’고 알려주는 것처럼 기업들은 사내 시스템에 존재하는 문맥 정보를 더 적극적으로 활용할 수 있게 됐습니다. ‘스마트 데이터 검색’ 혹은 ‘증강 분석’이라고 불리기도 하는 자동화 분석은 데이터의 관계와 패턴을 자동으로 알려줌으로써 인간의 전문 지식과 판단에 대한 의존도를 낮추고 있습니다. 경우에 따라서는 이러한 시스템이 자동 분석으로 상황을 알아내고 사용자에게 문제 해결을 위해 무엇을 해야 하는지 알려주기도 합니다. 이런 기능들은 우리가 데이터를 분석하고 소비하는 방식을 크게 바꿀 수 있습니다.

문맥의 힘

역사적으로 데이터와 분석은 별개의 자원이었습니다. 가치 실현을 위해서는 서로 결합돼야 하는데도 말이죠. 예컨대 재무, HR, 공급망 관련 데이터를 분석하려면 데이터 웨어하우스나 데이터 마트, 데이터 레이크 등에서 데이터를 찾아내고 그에 맞는 분석 툴을 사용해야 했습니다.

이를 위해서는 어떤 데이터가 적합하고, 그 데이터를 어디에서 찾을 수 있는지에 대한 폭넓은 지식이 필요했습니다. 하지만 분석가들은 문맥을 이해하는 데 필요한 지식은 부족했죠. 그런데 분석 및 AI 애플리케이션들이 문맥을 이해하는 데 필요한 정보를 점점 더 많이 제공하고 있습니다. 전사적 자원 관리(ERP)나 고객 관계 관리(CRM) 같은 경영 정보 시스템을 판매하는 주요 벤더들이 이미 제공하고 있는 기능들이죠.

의사결정 관련 업무 흐름이나 그 결과 내려진 결정들에 대한 가정을 포함하는 ‘문맥’은 다양한 예에서 찾아볼 수 있습니다. 인사 관리의 예를 들어 볼까요. 이력서에 대한 자연어 처리, 용어 일치 분석 등을 사용함으로써 인사 관리 시스템이 직무 기술서에 가장 잘 부합하는 후보자를 찾아낸 뒤 순위를 매겨 채용 과정을 최적화할 수 있습니다. 그러기 위해서는 애플리케이션이 채용 후보자의 상황과 기술 정보를 직무 기술서와 연결하기 위한 문맥적 지식을 활용해야 합니다. 공급망 관리에 문맥적 분석을 활용하면 기업은 전사적 자원 관리 데이터를 얻을 수 있습니다. 재고 수준을 최적화하고, 주문량을 예측하고, 잠재적으로 밀려들 수 있는 주문량을 파악할 수 있죠. 여기서 말하는 문맥에는 공급망 벤치마킹, 비즈니스 프로세스와 관련된 단계별 구성 요소에 대한 이해, 프로세스 중 병목 현상이 발생할 수 있는 단계에 대한 전문 지식 등이 포함됩니다.

과거의 분석 시스템과 달리 이러한 새로운 도구들을 사용할 경우에는 사용자가 문맥과 관련된 연결 고리를 따로 만들 필요가 없습니다. 분석을 하는 데 필요한 데이터가 자동으로 사용되며, 사용자 인터페이스는 다른 분석 활동을 위한 인터페이스와 일치합니다. 더 발전된 경우에는 애플리케이션이 기능과 관련된 전반적인 데이터에 자동으로 접근해 분석할 수 있게 됩니다. 예를 들어, 맞춤형 채용 증가가 예산과 재무 성과에 미치는 영향 등을 분석할 수 있는 거죠.

프랑스의 거대 보험 회사인 악사(AXA) XL은 사용자에게 다양한 문맥 정보를 제공하는 클라우드 기반의 인적 자본 관리 시스템을 구현해 냈습니다. 악사의 시스템에는 별도의 맞춤화 과정 없이 인적 자원 KPI, 모범 사례 벤치마킹, 다양성이나 감원 수준과 같은 HR 동향을 모니터할 수 있는 기능이 포함됐습니다. 악사는 단 8주 만에 이러한 기능을 갖춘 새로운 기업 관리 보고 도구를 회사 전체에 도입했습니다.

분석 자동화하기

분석 프로세스는 문맥에 맞는 데이터를 자동으로 찾아 연결해 줄 뿐 아니라 AI를 통해 점점 더 자동화되고 있습니다. 분석 소프트웨어가 데이터에서 자동으로 패턴을 찾아내고 자연어 인터페이스를 통해 데이터를 확인하고 분석할 수 있는 증강 분석이 도입되고 있죠. 한마디로 기존의 분석에 AI가 결합돼 데이터 분석이 더 쉽게 효과적으로 이뤄지고 있는 겁니다.

증강 분석 관련 도구로는 예측 분석, 머신러닝, 자연어 처리(NLP), 자연어 생성((NLG), 규칙 엔진 같은 좀 더 전통적인 기술이 있습니다. 예측 분석과 머신러닝을 통해 데이터의 추세나 이상을 식별하고 결과에 가장 큰 영향을 미치는 변수나 기능을 설명할 수 있습니다. 자연어 처리 기능이 강화된 분석은 간단한 음성 명령을 통해 데이터 분석이 가능하며, 자연어 생성 기능은 자연어를 통한 분석 요약을 자동으로 제공합니다.

이러한 새로운 기능들은 데이터를 준비하고, 인사이트를 발견하고, 분석하는 과정에서 전문성과 시간이라는 장벽을 제거해줍니다. 모두가 ‘시민 데이터 분석가(citizen data analyst)’가 돼 통찰을 얻고 비즈니스를 개선하는 데 필요한 조치를 취할 수 있게 해주죠. 또 분석이나 데이터 과학 지원 조직에도 긍정적인 영향을 미칩니다. 분석과 AI 소프트웨어 관련 전문가들은 어려운 문제를 해결하고 분석하는 데 집중할 수 있습니다. 전문성이 부족한 분석가나 사용자를 교육하거나 지원하는 데 시간을 할애할 필요가 없죠. 데이터나 분석에 대한 자동 요청을 통해 벤더가 만든 모델과 전문가가 만든 모델이 모두 정보 시스템에 점점 더 많이 포함될 것입니다.

이러한 증강 분석은 오라클(Oracle)이나 세일즈포스(Salesforce) 같은 주요 벤더들에 의해 이제 막 출시되고 있지만 일부 기업은 이미 증강 분석에 대한 실험을 성공적으로 마쳤습니다. 데이터 중심 문화를 갖고 있는데도 전문 데이터 과학자는 부족한 제조 기업의 경우를 살펴보죠. 그 회사는 고객의 구매 수량에 기반해 가격 할인을 제공하고 있었습니다. 한 비즈니스 분석가가 가격 책정 데이터 동향을 검토하고 파악하기 위해 증강 분석 시스템을 사용할 것을 권했습니다. 증강 분석 결과, 대량 구매 할인을 이용하는 고객은 적었습니다. 대신 많은 고객이 영업사원들을 통해 특별 할인을 받고 있었죠. 그 회사는 승인되지 않은 특별 할인 판매를 중단시키는 조치로 수십만 달러의 수익을 올렸습니다.

큰 변화의 시작

앞서 살펴본 차세대 비즈니스 분석은 아직 초기 단계에 있지만 새로운 분석 툴이 지닌 잠재력은 무궁무진합니다. 새로운 비즈니스 분석은 조직 내 더 많은 사람에게, 더 많은 정보를, 더 신속하게 제공할 겁니다. 비즈니스 인텔리전스 애널리스트와 정량 분석 전문가들의 역할은 여전히 중요하지만 이제 더 이상 비전문적인 데이터 사용자들을 교육하고 지원하는 역할은 하지 않아도 됩니다. 데이터 과학자를 고용할 여유가 없었던 중소기업들 역시 더 정밀하고 명확한 인사이트를 통해 자사에서 보유하고 있는 데이터를 분석할 수 있게 되겠죠. 조직의 분석 능력에서 중요한 것은 바로 데이터에 대한 문화적 욕구, 분석할 데이터를 생성하는 일련의 기업 정보 시스템, 신기술에 투자하고 효율적으로 사용하고자 하는 의지입니다.

원문: AI Can Help Companies Tap New Sources of Data for Analytics




톰 대븐포트는 뱁슨대학교에서 IT 및 경영 석좌 교수로 재직 중이며 MIT 디지털 비즈니스 센터 연구원이다. 국제분석연구소(International Institute for Analytics) 공동 창업자이며 딜로이트 애널리틱스(Deloitte Analytics) 상임 고문이다. 저서로 〈빅 데이터@워크〉와 〈분석으로 경쟁하라〉가 있다.
조이 피츠는 오라클 애널리틱스 제품 전략 담당 부사장이다.

번역 이정미 에디팅 정아영
(03187) 서울시 종로구 청계천로 1 동아일보사빌딩 9층 (주)동아일보사
대표자: 김재호 | 등록번호: 종로라00434 | 등록일자: 2014.01.16 | 사업자 등록번호: 102-81-03525
(03737) 서울시 서대문구 충정로 29 동아일보사빌딩 8층 (주)디유넷(온라인비즈니스)
대표이사: 김승환, 김평국 | 통신판매신고번호: 제 서대문 1,096호 | 사업자 등록번호: 110-81-47558