티머시 드스테파노Timothy DeStefano 조지타운대 교수를 비롯해 하버드대의 마이클 메니에티Michael Menietti와 루카 벤드라미넬리Luca Vendraminelli, MIT의 캐서린 켈로그Katherine Kellogg는 미국 명품 패션업체의 매장 186곳에서 제품 425개에 대한 재고 결정 과정을 분석했다. 절반은 직원이 쉽게 이해할 수 있는 알고리즘을 추천받은 후 결정하도록 했다. 나머지 절반은 해독할 수 없는 알고리즘을 추천받은 후 결정하도록 했다. 의사결정을 비교한 결과, 직원은 해석할 수 없는 알고리즘의 안내를 더 자주 따랐다. 결론은:
어떻게 작동하는지 볼 수 없을 때, 사람들은 AI를 더 신뢰할 수 있다
드스테파노: 이전 연구에 따르면 의사결정권자는 의식적이든 무의식적이든 AI가 생성한 지침을 받아들이기 꺼렸습니다. 심지어 AI를 무시하기도 했습니다. 이는 AI 시스템에 시간과 비용을 투자하는 기업에 문제가 될 수 있습니다.
연구진은 대응법을 모색하기 위해 코치Coach, 케이트 스페이드Kate Spade, 스튜어트 와이츠먼Stuart Weitzman의 모회사인 태피스트리Tapestry와 파트너십을 맺었습니다. 매장 1500곳을 보유한 이 회사는 제품 배분을 최적화하고 공급망을 효율적으로 운영하며 연 매출 67억 달러를 기록했습니다.
직원들은 단기적인 예측치를 보고 매장별 주간 재고 할당량을 결정하는데, 이는 가능한 한 정확해야 합니다. 태피스트리는 예전부터 규칙 기반 알고리즘을 사용해 재고 할당 담당자가 수요를 예측하도록 했습니다. 이는 일상적 경험을 통해 이해할 수 있고 입력 값을 확인할 수 있는 모델이었습니다. 정확도를 높이기 위해 회사는 ‘블랙박스’라고 불리는 더 정교한 예측 모델을 개발했습니다. 연구진은 3주간 두 시스템 가운데 하나를 무작위로 할당해 상품 결정에 대한 지침을 제공했습니다. 지침을 확인한 담당자는 권장 수량 또는 지침에서 벗어난 수량의 제품을 선택해 배송할 수 있습니다. 그 결과 단순한 알고리즘보다 블랙박스의 지침에 최대 50% 더 가깝게 배송이 이뤄졌습니다. 이는 직원이 블랙박스 모델을 더 신뢰한다는 뜻입니다.
HBR: 놀라운 결과입니다! 왜 그런 결과가 나온 건가요? 이번 결과는 이해하기 쉬운 시스템의 지침을 받아들일 가능성이 더 높다는 기존 생각과 배치됩니다. 담당자가 덜 정교한 시스템을 무시한 이유는 한 가지입니다. ‘문제 해결에 대한 과신overconfident troubleshooting’과 관련 있습니다. 의사결정자는 모델의 추론을 실제보다 더 잘 이해한다고 믿고 본인의 경험을 바탕으로 모델의 부족한 부분을 조정합니다.
피실험자인 직원들은 해석 가능한 알고리즘의 내부 작동 방식과 그 지침을 무시해야 하는 이유를 만들어냈습니다. 예를 들어 실험 후 진행된 인터뷰에서 한 직원은 매출이 일시적으로 급증한 이유가 NFL 드래프트와 관련 있다며 제품을 할인해야 한다고 추론하고 모델의 추천 제품에 대한 수량을 조절하겠다고 얘기했습니다. 드래프트가 실제 매출 급증에 기여했는지는 알 수 없지만 담당자는 그 설명을 확신했습니다.
아티클을 끝까지 보시려면
어떻게 작동하는지 볼 수 없을 때, 사람들은 AI를 더 신뢰할 수 있다
드스테파노: 이전 연구에 따르면 의사결정권자는 의식적이든 무의식적이든 AI가 생성한 지침을 받아들이기 꺼렸습니다. 심지어 AI를 무시하기도 했습니다. 이는 AI 시스템에 시간과 비용을 투자하는 기업에 문제가 될 수 있습니다.
연구진은 대응법을 모색하기 위해 코치Coach, 케이트 스페이드Kate Spade, 스튜어트 와이츠먼Stuart Weitzman의 모회사인 태피스트리Tapestry와 파트너십을 맺었습니다. 매장 1500곳을 보유한 이 회사는 제품 배분을 최적화하고 공급망을 효율적으로 운영하며 연 매출 67억 달러를 기록했습니다.
직원들은 단기적인 예측치를 보고 매장별 주간 재고 할당량을 결정하는데, 이는 가능한 한 정확해야 합니다. 태피스트리는 예전부터 규칙 기반 알고리즘을 사용해 재고 할당 담당자가 수요를 예측하도록 했습니다. 이는 일상적 경험을 통해 이해할 수 있고 입력 값을 확인할 수 있는 모델이었습니다. 정확도를 높이기 위해 회사는 ‘블랙박스’라고 불리는 더 정교한 예측 모델을 개발했습니다. 연구진은 3주간 두 시스템 가운데 하나를 무작위로 할당해 상품 결정에 대한 지침을 제공했습니다. 지침을 확인한 담당자는 권장 수량 또는 지침에서 벗어난 수량의 제품을 선택해 배송할 수 있습니다. 그 결과 단순한 알고리즘보다 블랙박스의 지침에 최대 50% 더 가깝게 배송이 이뤄졌습니다. 이는 직원이 블랙박스 모델을 더 신뢰한다는 뜻입니다.
HBR: 놀라운 결과입니다! 왜 그런 결과가 나온 건가요? 이번 결과는 이해하기 쉬운 시스템의 지침을 받아들일 가능성이 더 높다는 기존 생각과 배치됩니다. 담당자가 덜 정교한 시스템을 무시한 이유는 한 가지입니다. ‘문제 해결에 대한 과신overconfident troubleshooting’과 관련 있습니다. 의사결정자는 모델의 추론을 실제보다 더 잘 이해한다고 믿고 본인의 경험을 바탕으로 모델의 부족한 부분을 조정합니다.
피실험자인 직원들은 해석 가능한 알고리즘의 내부 작동 방식과 그 지침을 무시해야 하는 이유를 만들어냈습니다. 예를 들어 실험 후 진행된 인터뷰에서 한 직원은 매출이 일시적으로 급증한 이유가 NFL 드래프트와 관련 있다며 제품을 할인해야 한다고 추론하고 모델의 추천 제품에 대한 수량을 조절하겠다고 얘기했습니다. 드래프트가 실제 매출 급증에 기여했는지는 알 수 없지만 담당자는 그 설명을 확신했습니다.
아티클을 끝까지 보시려면
유료 멤버십에 가입하세요.
첫 달은 무료입니다!
관련 매거진
아티클이 실린 매거진
하버드비즈니스리뷰코리아
2023.9-10월호
Reskilling in the Age of AI
25,000원
22,500원
아티클 PDF
하버드비즈니스리뷰코리아
2023.9-10월호
어떻게 작동하는지 볼 수 없을 때, 사람들은 AI를 더 신뢰할 수 있다
5,000원
- ※ 아티클 PDF 구매는 월별 제공되는 PDF 다운로드 권한을 모두 사용하신 1년 또는 월 자동결제 서비스 구독자에 한해 제공되는 서비스입니다.
- ※ 아티클 PDF 다운로드가 필요하신 분께서는 HBR Korea 서비스 구독을 신청하세요!
-
사이트맵
-
구독
-
이용안내
-
Premium 동영상