문제 기업들이 디지털 시대를 맞아 경쟁우위를 확보하고자 앞다퉈 경쟁하면서 데이터 남용으로 처벌받는 사례가 늘고 있다. 2018년 케임브리지 애널리티카 스캔들 때문에 페이스북의 시가총액 중 360억 달러가 사라졌고 페이스북의 모회사인 메타는 약 60억 달러의 벌금을 물어야 했다.
원인 대부분의 문제는 (1)데이터 소싱의 윤리적 실패, (2)처음 전달한 목적과 다른 용도로 데이터 사용, (3)데이터 저장 시 보안 부족, (4)익명화 방법, (5)사용 준비 과정에서 발생한다.
해결책 기업은 개인 데이터와 관련된 프로젝트를 검토하는 특별 부서를 신설해야 한다. 이 부서는 출처, 목적, 데이터 보호, 개인정보 보호, 준비 등 데이터 안전의 5가지 원칙을 신중하게 검토해야 한다.
데이터를 인코딩, 저장, 분석, 공유하는 능력은 기업에 엄청난 기회를 안긴다. 이 때문에 경제가 불확실한 시기임에도 불구하고 기업들은 인공지능에 열성적으로 투자하고 있다. 어떤 고객이 언제 어떤 제품을 구매할 가능성이 높은가? 어떤 경쟁사가 앞서 나가거나 뒤처질 가능성이 높은가? 시장과 경제 전체가 어떤 상업적 이득이나 위험을 창출할 것인가? 기업은 데이터와 분석을 통해 더 나은 정보를 바탕으로 이런 여러 질문에 더욱 개연성이 높은 답을 얻을 수 있다.
데이터의 필요성이 증가할수록 남용의 가능성도 함께 커진다. 지난 몇 년간 EU는 개인정보보호법GDPR 위반으로 1400회 이상, 총 30억 유로에 달하는 벌금을 기업들에 부과했다. 2018년 케임브리지 애널리티카 스캔들 때문에 페이스북의 시가총액 중 360억 달러가 사라졌고 페이스북의 모회사인 메타는 약 60억 달러의 벌금을 물어야 했다. 채용, 신용 승인, 의료 진단, 심지어 형사 판결에서 AI 기반 의사결정이 여성과 소수자를 차별하는 사례가 빈번하게 발생하면서 데이터 수집, 사용, 분석 방식에 대한 불안감이 고조되고 있다. 제작자와 사용자가 제공한 데이터를 통해 ‘지능’을 획득하는 챗GPT, 빙AI, GPT-4 같은 챗봇의 사용이 늘어날수록 이런 두려움은 더욱 커질 것이다. 이들이 얻은 정보로 무슨 일을 할 수 있을지 생각하면 끔찍하다. 빙 챗봇은 한 대화에서 대화 상대인 사람보다 자신의 생존을 우선시하겠다고 말하기도 했다.
사람이 제공한 데이터를 포함하거나 기존 데이터베이스를 활용하는 새로운 프로젝트를 검토할 때 기업은 데이터의 출처, 데이터의 사용 목적, 데이터 보호 방법, 데이터 제공자의 개인정보 보호 방법, 데이터 사용 준비 방법 등 5가지 주요 문제에 집중해야 한다. 필자들은 이런 문제를 ‘윤리적 데이터 처리의 5가지 원칙’이라고 부른다.(97페이지 ‘윤리적 데이터 처리의 5가지 원칙’ 참고) 이제부터 각각의 원칙과 함께 AI 기술이 데이터 남용 위험을 키우는 방식을 살펴볼 것이다. 우선 강력한 윤리 검토 프로세스를 위해 조직이 갖춰야 할 요건을 간략히 살펴보겠다.
