2017
11-12월(합본호)

피플 애널리틱스의 한계 어떻게 극복할까
맥신 윌리엄스 (Maxine Williams)

FEATURE DIVERSITY

피플 애널리틱스의 한계 어떻게 극복할까?

맥신 윌리엄스

 

1112_188_1

 

페이스북의 글로벌 다양성 책임자가 통계치만으로 조직의 편향성 문제를 해결할 수 없는 이유에 대해 말한다.

 

우리가족은 집에서 쫓겨난 적이 있다. 흑인이라는 게 그 이유였다. 제네바 호수가 내려다보이는 멋진 아파트였다. 중개인을 통해 얻었기 때문에 계약 전에 집주인을 직접 만나보진 않았다. 우린 별생각없이 이사까지 마쳤다. 그런데 주인이 막상 우리 피부색을 보더니 집에서 나가 달라는 게 아닌가? 흑인인 줄 알았더라면 계약하지 않았을 거라고 집주인은 매몰차게 말했다. 기분이 비참했다. 하지만 이유를 대놓고 말해줘서 좋은 점도 있었다. 적어도 왜 갑작스럽게 우릴 쫓아내는지는 명확했기 때문이다. 그렇지 않았다면 피부색이 아닌 다른 이유를 찾는 데 엉뚱하게 에너지를 소모했을 터였다.

 

많은 사람이 인종 때문에 주거, 대출, 취업, 승진 등에서 불이익을 당한다. 하지만 나처럼 피부색 때문이라고 직접 얘기 듣는 경우는 드물다. 특히, 직장에서 그렇다. 그 이유를 생각해 보면, 우선 직장 내 인종차별은 불법이기 때문이다. 또 다른 이유로, 관리자들은 자신이 사람을 공정하게 뽑고 승진시킨다고 생각하며 또 그렇게 믿고 싶어하기 때문이다. 하지만 실제론 그렇지 않은 경우가 태반이다.(연구에 따르면 자신이 객관적이라고 생각하는 사람일수록 무의식적 편향이 강하다.) 관리자들은 의사결정을 내릴 때 인종을 고려한다고 대놓고 말하지 않는다. 자신에게 인종 편향이 있다는 사실을 아예 인식하지 못하는 경우가 일반적이다. 다만, 애매한 평가기준을 이용해 자신과 피부색이 다른 사람들을 걸러낼 뿐이다. 켈로그경영대학원의 로런 리베라Lauren Rivera교수가 수행한 연구는 이를 잘 보여준다. 비주류 인종에 속하는 사람들은 백인에 비해문화 적합성이 떨어진다라거나 높은 직급에서 역할을 수행할준비가 덜 됐다’는 취급을 받는다. ‘커뮤니케이션 스타일이 미흡하다는 이유로 선택에서 배제되기도 한다. 이들에게는 자신이 인종과 피부색 등정체성때문에 탈락했을지 모른다는 의심이 가시지 않는다. 의사결정자가 자신의 편견을 선한 의도로 포장하는 경우엔 더욱 그렇다.

 

다양성은 내가 몸담고 있는 분야다. 나 또한 평생을 흑인으로 살았다. 그래서 직장 내 소수집단에 속하는 사람들에게 두 가지 희망 사항이 있다는 점을 잘 알고 있다. 첫째, 가끔 부당한 대우가 편견 때문일지 모른다고 의심하더라도 이상한 사람으로 취급받지 않길 바란다. 둘째, 조직 차원의 지원을 받고 싶어 한다.

 

첫 번째 요구에는 답이 명확하다. 동료나 친한 지인이 부당한 대우를 받았고 그 이유가 자기 정체성 때문이라고 생각한다면, 우리는 충분히 그렇게 의심할 만하다고 인정해줘야 한다. 조직 내에는 편견이 팽배하다. 수많은 연구결과도 이를 뒷받침한다. 괜히 넘겨짚는다고 가볍게 봐선 안 된다.

 

그렇다면, 두 번째 요구는 어떻게 만족시킬 수 있을까? 기업들은 조직 내 편향성을 바로잡고 다양성을 높이기 위해 타당하면서도 폭넓게 적용할 수 있는 방법을 찾는 중이다. 하나의 대안으로 피플 애널리틱스people analytics가 주목받고 있다. 피플 애널리틱스는 조직 운영과 인재 관리에서 비교적 최근에 등장한 분야로서, 직감에 의존하는 의사결정을 데이터 중심의 프랙티스로 대체하는 것을 표방한다. 피플 애널리틱스는증거에 기반한의사결정을 추구한다. 지원자를 제대로 평가하는 데 면접이 몇 번이나 필요한지, 통근방법과 시간이 직무 만족도에 얼마나 영향을 미치는지 등 HR 이슈는 증거에 기반을 두고 결정하는 예라고 할 수 있다. 통계적으로 유의미하다고 증명돼 조직에 큰 변화를 가져온 발견들도 있었다. 하지만 안타깝게도, 직장 내 소수집단 이슈에 애널리틱스를 적용하려는 기업들은 자주 불만을 토로한다. 소수집단에 속하는 직원 수가 충분치 않아서 신뢰할 만한 결론을 도출하기 어렵다는 게 이유다. 다시 말해, 표본 크기가 너무 작다는 말이다. 통계학에서는 표본 크기를 n으로 표기하는데, n이 일정 크기 이상이어야 결론을 신뢰할 수 있다고 간주한다. “유감입니다. 우리 회사에 흑인 직원이 몇 명 없어서…. 왜 흑인 직원이 그렇게 적은지 알 수가 없네요라고 말하는 식이다.

 

하지만 기업들이 접근할 수 있는 데이터는 생각보다 많다. 표본 크기가 작다면, 조직을 운영하는 더 거시적인 맥락을 들여다봄으로써 보완할 수 있다. 데이터가 많을수록 통계적으로 신뢰도는 높아진다. 하지만, 데이터 크기만으로 리더에게 조직 내 다양성을 높여야 한다는 통찰을 전달하긴 어렵다. 리더들은 소수집단에 속하는 직원 개인들을 더 가까이 들여다봐야 한다. 개인별 사례는 애널리틱스라는 레이더로 포착하기 어렵기 때문이다.

 

작은 표본 크기 보완하기

 

비영리 연구기관들은 여러 산업과 분야에서 편향성이 채용과 승진에 어떻게 영향을 미치고 있는지 속속 밝혀내고 있다. 예를 들어, 어센드재단Ascend Foundation이 수행한 연구에 따르면, 2013년 기준으로 실리콘밸리를 대표하는 5개 기업에서 백인 직원이 임원으로 승진할 확률이 아시아계 직원보다 154%나 높았다. 아시아계 직원에게는 인종과 성별 모두가 유리천장으로 작용했다. 하지만 인종의 영향력이 성별보다 3.7배나 컸다.

 

어센드재단은 2년여에 걸친 연구, 분석을 통해 편향성이 흑인과 히스패닉계 직원들에게 어떤 영향을 미치는지도 측정했다. 분석 대상 인원만 수십만 명에 달하는 대작업이었다. 데이터는 미국 평등고용추진위원회EEOC가 집계한 베이 에어리어Bay Area(샌프란시스코와 실리콘밸리를 아우르는 지역) 내 전체 테크기업 자료와 13개 미국 테크기업에서 발행한 개별 보고서를 통해 확보했다. 결과는 앞선 연구와 다르지 않았다. 전문 분야 실무자에서 임원으로 승진하는 데 성별보다 인종이 더 부정적인 영향을 미치는 현상을 다시 확인할 수 있었다. 베이 에어리어에서 백인 여성은 백인 남성에게 뒤처지기는 하지만 아시아계, 히스패닉계, 흑인보다는 승진에서 훨씬 나은 대우를 받고 있었다. 임원으로 승진하는 데 가장 어려움이 큰 집단은 유색인종 여성이었다. 흑인과 히스패닉계 여성은 실무자 레벨에서 일하는 직원 수도 얼마 안 되고, 임원으로 승진하는 비율도 낮은 이중고를 겪고 있었다. 아시아계 여성은 다른 유색인종보다 실무자 수는 많은 편이지만, 임원으로 승진하는 비율은 가장 낮았다. 국가별로 데이터를 분석한 결과도 비슷했다.

 

소수집단에 대한 산업이나 분야별 데이터를 분석하고, 채용과 승진 등 인재관리 의사결정 패턴을 조사해 보면, 각자 조직에 존재하는 문제와 위험성을 더 잘 관리할 수 있다. 테크기업의 경영자들이 어센드재단의 보고서를 읽어 보면 이렇게 반응할 수도 있다. “경쟁사 직원들에게는 어떤 애로사항이 있는지 살펴봅시다. 우리 회사에도 그런 문제가 있을 가능성이 큽니다.” 이에 발맞춰, HR 부서는 유색인종 여성 직원들의 커리어를 모니터링하는 장치를 새로 마련하거나, 다양성 관리 교육 프로그램을 개발할 수도 있다.

 

타사 분석 결과에서 시사점을 도출하는 접근방법도 고려해봄 직하다. 미국 샬럿에 본사를 둔 디지털 미디어 기업인 레드벤처스Red Ventures를 예로 들어보자. 몇 가지 기준으로만 보면, 레드벤처스는 다양성이 높은 조직이다. 라틴계 CEO를 두고 있으며, 직원 중 유색인종 비율도 40%에 달한다. 하지만 해결해야 할 문제는 여전히 존재한다. 나는 레드벤처스의 최고경영진과 만난 적이 있다. 그들은 최근 사내 성과 평가를 분석한 결과, 흑인과 히스패닉 직원들에게 내면화된 고정관념이 자기평가에 부정적인 영향을 미치고 있음을 알게 됐다고 말했다. 흑인과 히스패닉 직원들의 자기평가 점수는 상사가 준 점수보다 평균 30% 낮았다.(반면, 백인 남성의 자기평가 점수는 상사보다 10% 높았다.) 이 연구는 인종적 고립과 부정적 자기인식 사이에 상관관계가 있음을 밝혀내기도 했다. 다른 인종에 둘러싸여 있을수록 자기인식에 부정적인 영향을 미친다는 의미다. 똑같이 유색인종이라 하더라도, 백인 비중이 높은 엔지니어링 부서에서 근무하는 직원들은 흑인과 히스패닉이 많은 영업 부서 직원들보다 자기평가 점수가 낮았다. 이런 현상은 주니어에서 시니어 레벨까지 모든 직급에서 일관되게 나타났다.

 

이에 대처하기 위해, 레드벤처스 HR 팀은 직원들에게 객관적으로 자기 성과를 평가하는 방법을 교육했다. 흑인과 히스패닉 직원들이 자기를 평가한 점수와 상사가 준 점수 사이의 격차는 완화되기 시작했다.(최근에는 차이가 22% 수준인 것으로 나타났다.) 레드벤처스의 HR 상무인 핼리 코네타Hallie Cornetta는 교육을 어떻게 설계했는지 설명했다. “정량적, 정성적으로 자신을 있는 그대로 평가하는 것이 얼마나 중요한지에 초점을 뒀습니다. 상사나 동료들이 자신을 어떻게 생각할지 추측하는 것이 아니라 회사에서 정한 5가지 핵심 영역에서 자기 성과를 객관적으로 평가하는 방식이죠. 더불어, ‘탁월함’‘우수함’ ‘개선이 필요함등 평가 등급이 구체적으로 어떤 모습을 의미하는지 직원들에게 생생한 예시로 설명했습니다. 이를 통해 자의적으로 판단할 여지를 줄이면서, 더 확신을 갖고 자신을 평가하도록 도왔습니다.”

 

개인에게 다가가기

 

작은 표본 크기를 보완함으로써 탐색 범위를 넓혔다면, 이젠 개별 사례를 깊이 들여다볼 차례다. 직원 개인에게 다가서는 단계는 매우 중요하다. 팀에서 혼자만 흑인이나 히스패닉일 때 느끼는 기분, 특정 집단이 소외될 때 직원 개인과 조직 전체에게 미치는 영향 등은 알고리즘과 통계로 파악하기 어렵다. 직원들이 편견 때문에 어떤 경험을 하는지 알아보려면 일대일로 만나 툭 터놓고 대화를 나눠야 한다. 우리의 비슷한 경험담을 들려준다면 신뢰도 생기고 민감한 주제를 마음 편하게 얘기할 수 있는 분위기를 조성하는 데도 도움이 될 것이다. 이런 대화를 통해 발견하는 내용 하나하나는 데이터에서 드러나는 사실만큼이나 중요하다.

 

테크기업에서 다양성 관리를 담당했던 한 지인이 내게 풀어서 설명해줬다. “직원 대상으로 설문조사를 하면, 히스패닉 직원들은 늘 행복하다고 답해요. 그런데 말이죠, 나도 히스패닉이지만 우린 괜히 긁어 부스럼 만들고 싶어하지 않거든요. 솔직하게 말하기엔 위험 부담이 너무 커요. 그래서 윗분들이 듣고 싶어하는 쪽으로 답을 하는 거죠. 포커스그룹 인터뷰 자리를 마련해줘도 다를 게 없어요. 한 가지 더 말하자면, 표본집단 크기가 충분해야만 통계적으로 유의미하다고 인정하는 방식은 히스패닉 사이에 존재하는 또 다른 다양성을 반영하지 못해요. 피부색이 백인에 가깝고 남미에서 중산층이나 상류층으로 자란 직원이라면 여기가 정말 내 집같이 편하고 행복할 수 있어요. 하지만 어두운 피부색에 미국에서 서민층으로 자란 직원이라면 다르게 느낄 거예요. 나는 불이익을 당하는 직원들을 위해 시간과 노력을 들여 뭔가 해결책을 만들어 보려 해요. 데이터가 모든 히스패닉 직원들에게 문제가 있다고 하든 말든 개의치 않을 겁니다.”

 

이 문제는 여러 회사에서 거듭 발생하는 이슈다. 나는 직원 수가 적게는 60명에서 많게는 30만 명에 이르는 10개 기업의 다양성 및 HR 담당자들과 얘기를 나눴다. 이들은 모두 빅데이터에 크게 드러나지 않는 소수집단 직원들을 위한 프로그램이나 조치를 준비 중이다. 조직 내에 소외되는 집단이 있는지 탐색할 때 이들은 어느 정도 직관에 의존한다. HR 의사결정을 내릴 때 주관이나 직감을 완전히 배제한다는 피플 애널리틱스의 취지에 반하는 모습으로 보일지도 모른다. 하지만, 조직 내부의 편향성이 어떤 영향을 미치는지 알기 위해 질적 데이터도 함께 수집해서 분석할 필요가 있다. 히스패닉과 같이 집단 내에 존재하는 계층 차이, 피부색 차이 등 복잡한 요소를 파악하기 위해서도 필요하다. 이때 직관의 도움을 받을 수 있다. 피플 애널리틱스가 항상 원인을 입증하고 결과를 예측해 주진 않는다. 내가 만난 다양성 및 HR 담당자들은 편향성이 작용하는 경우에는 뭔가이 안 좋거나촉이 온다고 설명했다. 이들은 직원들과 대화하면서 자기 직관이 실제 맞는지 점검한다. 자원이 뒷받침되고 참여자들이 더 솔직해질 수 있다면 포커스그룹 방식을 사용하기도 한다. 편견 때문에 불이익을 당했던 본인들의 경험도 수시로 활용한다. 그중 한 명이 말했다. “질적 데이터와 양적 데이터를 함께 살펴보는 것이 이상적이긴 합니다. 하지만 결국 우리가 흑인으로 살며 경험해 봐서 아는 내용이죠. 데이터는 그걸 다시 확인시켜줄 뿐이에요. 흑인 직원으로 다양성 개선과는 아무 상관 없는 일을 16년간 해오며 저는 별의별 일을 다 겪어봤답니다. 다양성 업무를 하려면 차가운 머리만큼이나 따뜻한 가슴이 중요해요.”

 

행동을 위한 제언

 

피플 애널리틱스의 핵심 주장은 상식에 와 닿는다. 사람을 공정하게 채용하고 관리하고자 한다면, 직관에 의존한 의사결정만으론 불충분하다. 하지만, 우리는 새로운 접근방식을 만들어 나가야 한다. 데이터가 적은 소수의 소외된 집단도 고려할 수 있어야 한다.

 

이를 위해 제언을 하고자 한다.

 

첫째, 분석가는 어떤 주장이 신뢰를 얻으려면 최소 표본 크기를 충족해야 한다는 전통적 논리에 도전하고, 제한적인 데이터 너머까지 꿰뚫어 볼 수 있어야 한다. 편향성이 성과 평가에 영향을 미친다고 관리자에게 설명하기 위해 흑인과 백인 사이에 생기는 고과 차이가통계적으로 유의미하다고 입증할 필요는 없다. 우리는 편향성에 대한 수많은 사회과학 연구들을 통해, 조직 내에 편견이 팽배하며 고과에 영향을 준다는 사실을 이미 알고 있다. 따라서, 그런 통찰을 우리가 현업에서 보고 듣는 현상에 적용해, 회사 내에 편향성이 존재한다는 것을 전제로 조직을 운영해야 한다. 우리는 5명이든 10명이든 직원들이 공유하는 경험에 더 가치를 부여해야 할지 모른다. 또는 소수집단 직원 수와 인종별, 성별 평균 직무만족도 등 다양성 현황을 기술하는 데이터를 더 신중하게 관찰해야 할 수도 있다. 이를 통해 편향성이 직원 개인 차원에서는 어떤 영향을 미치는지 점검해야 한다.

 

더불어, 분석가는 피플 애널리틱스 결과를 보고할 때 신뢰구간을 수시로 함께 제시해야 한다. 통계적인 유의성을 증명하기에 표본집단 크기가 너무 작은 경우, 관리자가 분석결과를 얼마나 신뢰할 수 있는지 판단하는 데 도움이 되기 때문이다. 자신이 직원들을 공정하게 대우한다고 여기는 관리자라도 그런 정보를 받아보면 채용과 관리 프랙티스에 변화를 줄 가능성이 커진다. 예를 들어, 레드벤처스가 자기평가에 대한 데이터를 수집하기 시작했을 때, 흑인과 히스패닉 직원들이 자신을 과소평가한다는 분석결과는 신뢰 수준이 75%였다. 그다음, 분석가는 관리자에게 소수인종 부하직원들과 만나 성과평가 내용을 점검해 보고, 자기평가 결과가 그들의 기여도를 제대로 반영했는지 살펴보도록 조언해 줄 수 있다. 이 방법이 단순할 수도 있지만, 사람들 내면에 분명히 존재한다고 판단하는 편향성이나 고정관념에 대처하면서도 직원 한 명 한 명에게 도움을 주는 길이다.

 

둘째, 기업은 질적 분석을 더 일관성 있고 포괄적으로 수행해야 한다. 여러 기업이 이미 개인 면담과 포커스그룹 인터뷰를 진행해 소수집단에 속한 직원들에게 어떤 애로사항이 있는지 파악하고 있다. 일부 조직은 성과 리뷰, 퇴사 면담, 채용 시 작성한 메모 등에 담긴 텍스트를 분석해 편향성이나 부정적인 고정관념을 보여주는 신호를 찾아내려는 노력까지 기울인다. 하지만 그것으로는 충분치 않다. 더 객관적인 성과 평가 시스템을 개발하여 운영할 수 있는 효과적인 방법을 찾아야 한다. 직원과 관리자들에게 내면화된 편향성이 어떻게 고과에 영향을 미치는지도 파악해야 한다.

 

이런 과정은 편향성과 부정적인 고정관념이 현실에서 어떤 영향을 미치는지 전 직원에게 교육하는 단계부터 시작한다. 페이스북에서는 편향성을 인식하고 바로잡는 데 초점을 둔 교육 프로그램을 다양하게 제공한다. 그리고 교육 후에도 핵심 메시지를 지속해서 강조한다. 새로운 인식의 근육이 생기려면 시간이 걸리기 때문이다. 우리는 의사결정과 행동에 영향을 주기 위해 중요한 사항마다 알림 메시지를 전달한다. 예를 들어, 페이스북에서 사용하는 성과 평가 도구에는 성과 리뷰와 자기평가 시 단어를 적절하게 선택했는지 점검하도록 알려주는 기능이 있다. 문화 적합성을 의미하는 ‘cultural fit’과 같은 표현은 편견을 반영할 수 있다고 알려준다. 그리고 당찬 여성을 ‘bossy’라는 단어로 표현하지 않도록 상기시켜 준다. 같은 행동을 하더라도 남성에게는 좀처럼 사용하지 않는 단어이기 때문이다. 이런 기능이 실제 사용하는 언어에 얼마나 영향을 줬는지 알려주는 데이터는 아직 없다. 새롭게 시도하는 단계에 있지만, 시간이 지나면서 어떤 경향이 나타나는지 살펴볼 예정이다.

 

무엇보다도, HR과 애널리틱스 부서는 질적, 양적 전문성을 모두 중시하고 가능하면 거의 모든 분야에 그 둘을 혼합하는 접근방식을 적용해야 한다. 페이스북에서는 질적연구 전문가와 양적연구 전문가를 모두 포함하는 다기능팀cross-functional team을 만드는 중이다. 조직에 있는 모든 사람이 지닌 복잡한 편향성을 온전히 포착할 수 있는 단일한 연구 방법은 존재하지 않기 때문이다. 모든 연구 방법들은 결국 동일한 문제를 각자 다른 각도에서 풀어보려는 노력이라고 생각한다. 우리 팀은 도전과제가 생겼을 때 양적 관점으로 접근해현상what을 먼저 파악한 다음, 질적연구 전문가가 이어받아원인why’해결 방안how’을 파고든다. 예를 들어, 양적 데이터를 분석한 결과, 다른 팀보다 소수 인종 직원들이 들어가거나 빠져나가는 비율이 높은 팀이 있다면(‘현상’), 면담이나 포커스그룹 인터뷰, 회사 설문 텍스트 분석 등을 통해 그원인을 파악한다. 그리고 회사의 다른 부서들과 공유할 주제나 시사점을 도출한다. 상황에 따라서는 반대 순서로 단계를 밟아나갈 수도 있다. 가령, 특정집단 구성원들의 입에서 자신들이 다른 집단의 동료들에 비해 제대로 인정받지 못하고 있다는 얘기가 반복해서 나온다고 하자. 우리 팀은 이런 질적 관찰 내용을 먼저 접한 뒤에, 그 정보가 사실인지 양적 추세를 조사하거나 통계 분석을 할 수 있다. 이를 통해 어떤 조직 환경이 직원들이 인정받는 여부와 관련돼 있는지 파악한다.

 

다기능팀을 구성하면 인지적 다양성의 이점을 누릴 수도 있다. 다기능팀원들이 함께 일하다 보면 서로에게 긍정적이 자극이 된다. 팀원들 각자가 지닌 선입견이나 편견이 도전을 받는다. 채용, 조직몰입도, 성과 평가 등 어느 이슈를 다루거나, 모든 팀원이 동의하는 원인과 해결 방안을 도출하는 과정은 험난할 것이다. 하지만, 이런 접근방식을 취할 때 조직이 전반적으로 개선될 가능성이 가장 크다고 우린 믿는다. 페이스북이 매년 2회씩 직원들을 대상으로 실시하는 펄스Pulse설문 결과를 분석하고, 성과 평가 의견을 검토하면서 우리는 얼마나 개선되고 있는지는 물론 또 다른 문제의 신호는 없는지 계속 살펴볼 것이다.

  

우리 가족이 집에서 쫓겨난 것은 피부색 때문이었다. 하지만, 조직에서는 차별의 증거나 불공정한 결과가 그만큼 확실하거나 뚜렷하지 않을지 모른다. 그래도 우린 확실성을 높일 수 있고, 그렇게 하는 것이 중요하다. 편견 때문에 부당한 대우를 받는다고 인식하는 소수집단 직원들은 이상한 사람들이 아니다. 그들이 조직 차원의 지원을 받을 수 있는 기회는 열려 있다.

 

번역: 김주영 / 에디팅: 고승연

  • 아티클 다운로드
    (PDF)
    5,000원

    담기바로구매

  • 2017년 11-12월(합본호)
    25,000원
    22,500원

    구매하기

  • 디지털서비스
    1년 150,000원

    디지털서비스란

    신청하기

전략 다른 아티클

무료 열람 가능 아티클 수 0/1 회원가입 | 서비스상품안내