헤더 바로가기 메뉴 바로가기 푸터 바로가기
데이터 사이언스 & 전략

AI의 오류는 누가 보상하나?

람 샹카르 시바 쿠마르(Ram Shankar Siva Kumar),프랭크 네이글(Frank Nagle)
디지털
2020. 10. 5.
Apr20_28_161819361-2-1024x576

구글, 아마존, 마이크로소프트, 우버, 테슬라 같은 주요 기업들은 AI와 머신러닝 시스템에 속고, 배신당하면서 의도치 않은 엉뚱한 결과를 보여줬습니다. 이런 실패담이 널리 알려져 있는데도 불구하고 유명 기업의 리더들은 AI와 머신러닝 기술을 개발하는 데 따르는 리스크를 대부분 모르고 지나칩니다. 기업만의 실책은 아닙니다. 피해를 제한하고 복구할 수 있는 기술적 도구가 머신러닝만큼 빨리 개발되지도 않았습니다. 또 기존 사이버 보험이 머신러닝 시스템에 대한 보상을 해주지 않을뿐더러 법적인 구제책(저작권, 책임, 해킹 방지법)도 이런 상황에는 적용되지 않습니다. 그래서 부상하고 있는 솔루션이 바로 AI/머신러닝 전용 보험입니다. 하지만 누가 이런 보험을 필요로 하고, 어떤 부분에 보험이 적용될지는 아직 명확하지 않습니다.

리스크의 이해

최근 여러 가지 사건을 통해 AI와 머신러닝 시스템이 취약하고, 현실 세계의 재난이 될 수 있다는 점이 드러났습니다. HBR가 AI의 오작동에 관한 학계의 연구 결과를 체계적으로 조사한 결과, 머신러닝 시스템의 오류가 크게 두 가지라는 점을 발견했습니다. 바로 의도적 오류와 비의도적 오류입니다.

• 의도적 오류는 적극적인 적대 행위로 AI 시스템을 전복해 개인 훈련 데이터를 유출하거나, 기저 알고리즘을 도용하거나, 기타 AI 시스템에서 원하는 결과물을 빼내는 것을 말합니다. 텀블러가 외설적 내용의 호스팅을 중지하겠다고 발표했을 때, 사용자들은 신체 이미지를 녹색으로 칠하거나 올빼미 그림을 넣는 식의 ‘교란 공격’을 통해 필터를 피해갔죠.

• 비의도적 오류는 머신러닝 시스템이 적대적인 방해 없이도 자체적으로 오류를 일으킨다는 의미입니다. 오픈AI는 머신러닝 시스템이 높은 점수를 기록하면 보상을 주는 방식으로 보트 게임을 가르쳤습니다. 그런데 머신러닝 시스템은 경주는 내팽개치고 원을 돌며 같은 타깃에 계속 부딪혀서 점수를 올렸습니다. 이런 비의도적 오류는 머신러닝 개발자들의 잘못된 가정 때문에 논리적으로는 옳지만 실제로는 위험한 결과가 나온 겁니다.

가트너(Gartner)는 머신러닝 모델에 대한 사이버 공격을 다룬 보고서에서 경영진에게 엄중한 경고를 보냈습니다. “애플리케이션 회사의 리더들은 데이터 손상, 모델 도용, 적대적 시도로 인한 잠재적 리스크를 완화할 준비를 해야 한다.” 그러나 여전히 기업들은 속수무책입니다. 미국 내 최대 규모 은행의 보안 책임자는 HBR와의 인터뷰에서 “머신러닝 모델이 활용하는 고객 정보를 보호하고 싶지만 어떻게 하는지를 몰라요”라고 털어놨습니다. 은행뿐만이 아닙니다. HBR는 포천 500, 중소기업, 비영리 재단, 정부 기관 등 28개의 기관을 비공식적으로 인터뷰했는데, 이 중 25개 기관은 자사의 머신러닝 모델에 대한 공격을 방어할 방안이 없다고 말했습니다. 이유는 세 가지였죠.

첫째, AI 오류는 현재 여전히 연구가 진행되고 있는 분야로, 기준이 될 만한 기술적 완화책이 나오기 어렵습니다. 최근 전문가들은 학술지에 발표된 적대적 공격에 대응하는 13개의 방어책이 얼마나 효과가 없는지를 실증한 바 있습니다.

둘째, 기존의 저작권, 생산물 책임, 미국의 ‘반해킹’법이 모든 AI 오류를 해결할 수는 없습니다.

마지막으로, 머신러닝과 AI 시스템이 데이터를 조작하는 방식은 주로 코드와 소프트웨어이기 때문에 고전적인 사이버 보험이 답이 될 수 있습니다. 그러나 보험 전문가들에 따르면 일부 AI 오류는 기존 사이버 보험으로 보상되지만, 일부는 그렇지 않을 수도 있다고 합니다.

아티클을 끝까지 보시려면
유료 멤버십에 가입하세요.
첫 달은 무료입니다!

(03187) 서울시 종로구 청계천로 1 동아일보사빌딩 9층 (주)동아일보사
대표자: 김재호 | 등록번호: 종로라00434 | 등록일자: 2014.01.16 | 사업자 등록번호: 102-81-03525
(03737) 서울시 서대문구 충정로 29 동아일보사빌딩 8층 (주)디유넷(온라인비즈니스)
대표이사: 김승환, 김평국 | 통신판매신고번호: 제 서대문 1,096호 | 사업자 등록번호: 110-81-47558