기업의 기술력이 아무리 탄탄하고 조직의 인적 구성이 다양하더라도 AI와 머신러닝 모델에 편향이 발생할 수 있다.
원인
AI에 편향이 발생하는 원인은 다양하며 데이터과학자를 비롯한 기술 전문가들의 눈에 띄지 않을 수 있다.
해결책
사내에서 개발하거나 외부 업체에서 구매한 AI 제품의 윤리적 리스크를 AI 윤리위원회가 식별하고 완화할 수 있다.
2019년 사이언스지에 한 연구가 발표됐다. 사후 관리가 필요한 고위험군 환자를 식별하는 데 널리 사용되던 옵텀Optum이라는 AI가 의료인들이 흑인 환자보다 백인 환자들에게 더 집중하도록 유도한다는 내용이었다. 해당 AI가 식별한 고위험군 환자 중 고작 18%만이 흑인이었고, 82%는 백인이었다. 연구진이 실제로 가장 증상이 심한 환자들의 데이터를 분석해 봤더니 이 비율이 원래는 각각 46%, 53%였어야 했다. 이 AI가 끼친 영향은 지대했다. 연구진의 추정치에 따르면 이 AI가 검토했던 환자의 수는 최소 1억 명 이상이었다.
옵텀의 알고리즘 설계에 참여한 데이터과학자나 경영진이 의도적으로 흑인을 차별하려던 것은 결코 아니었지만 그들이 놀라울 정도로 흔한 함정에 빠진 탓에 이런 결과가 초래됐다. 이처럼 편향적인 결과는 역사적인 차별이 반영된 데이터를 AI 훈련에 사용하면서 비롯됐다. 옵텀 알고리즘에 사용된 데이터에는 지금까지 흑인들이 상대적으로 적은 의료서비스를 받았다는 정보가 반영돼 있었다. 이를 학습한 알고리즘은 흑인이 의료서비스를 덜 필요로 한다고 유추했다.
AI와 관련된 다양한 윤리적 리스크는 이미 입증되고 잘 알려져 있다. 가장 대표적인 예가 의도치 않은 편향과 프라이버시 침해다. 대부분의 경우, 이런 위험은 특정 상황에서 발생한다. 자율주행차가 보행자를 칠 가능성, AI로 만든 소셜미디어 뉴스피드가 공공기관에 대한 불신을 조장할 가능성 등의 구체적인 리스크가 발생하곤 한다. 하지만 이보다 더 포괄적인 평판, 규제, 재무, 법률 영역에서 중대한 위협이 생기기도 한다. 애초에 AI는 큰 규모로 사용하는 목적으로 설계된다. 그러다 보니 이런 AI에서 문제가 발생하면 이 기술에 반응한 모든 사람이 영향을 받는다. 채용공고를 보고 지원한 사람 전부, 은행 주택담보대출을 신청한 고객 전부가 피해를 입는 식이다. 기업이 AI 프로젝트를 기획하고 실행하는 단계에서부터 미리 윤리적 이슈를 주의 깊게 다루지 않으면 소프트웨어를 다 개발하고 나서 뒤늦게 사용하거나 판매하기에 너무 위험하다는 결론에 이르게 될지도 모른다. 다양한 실제 사례에서 밝혀진 것처럼 이 경우 결과적으로 많은 시간과 돈을 낭비하게 될 수 있다.
