헤더 바로가기 메뉴 바로가기 푸터 바로가기
마케팅 & 데이터 사이언스

설문조사 결과를 신뢰하기 어려운 이유

디지털
2021. 5. 11.
Apr21_20_HBRStaff

2020년 초여름, 미국 질병통제예방센터(CDC)는 코로나바이러스를 예방한다는 목적으로 미국에서 벌어지고 있는 위험한 행위에 대한 보고서를 내놓았는데, 이 보고서에 따르면 502명의 응답자 중 4%가 지난달에 희석된 표백제를 마시거나 이를 이용해 가글을 했다고 밝혔습니다. 같은 방식으로 비눗물과 가정용 소독제를 이용한 사람도 각각 4%에 달했죠. 얼마 지나지 않아 언론 기사 헤드라인은 우려와 공포로 물들었습니다. 예를 들어 로이터는 “표백제 가글?” 미국인들 코로나바이러스 예방을 위해 소독약을 오용하다”와 같은 헤드라인을 뽑았습니다.

미디어가 이런 반응을 보이는 걸 이해할 수 없는 것은 아닙니다. 4%는 얼핏 보기엔 적은 것 같지만, 이 연구의 표본이 전 미국 인구를 대표한다고 할 때, 대충 계산해도 1200만 명의 미국인이 이 위험한 행동을 실천에 옮겼다는 것입니다. 무서운 수치죠.

하지만 이러한 결과에 의문을 제기할 만한 근거도 존재합니다. 우선 CDC는 겨우 500명의 옵트인 방식 참여자로는 미국 전체 인구를 대표할 수 없음을 언급했습니다.(최소한 CDC는 불균형을 막는 목적으로 연령, 성별, 인종적 정렬을 위해 응답에 가중치를 주기는 했죠.) CDC의 결과를 재현하기 위해 실시된 번째 연구(현재 피어 리뷰 중인)는 품질 검사를 추가했는데, 이에 따르면 앞선 연구에 이와 같은 표본의 제약 외에도 몇 가지 심각한 결점이 더 있었다는 것이 드러납니다.

온라인 연구 플랫폼 클라우드리서치(CloudResearch)에서 진행된 이 새로운 연구는 데이터 품질을 위협할 수 있는 두 가지 주요 문제를 해결하는 데 주력했죠. 이들은 바로 부주의(응답자가 신경을 쓰지 않거나 주의를 기울이지 않음)와 장난기(응답자가 의도적으로 거짓말을 하거나 연구자를 호도함)였습니다. 중독성 마약 복용과 같은 비교적 드문 행동을 연구하는 심리학자들은 이러한 문제들에 대해 오랫동안 알고 있었죠. 일례로 1973년에 실시된 한 마약 복용 연구에서 연구자들은 설문 대상인 약물 목록에 가짜 마약을 포함시키면 4%의 응답자가 실제로 존재하지 않는 이 마약을 했다고 보고하는 것을 발견했습니다. 이는 해당 데이터가 완벽하게 신뢰할 수 있는 것이 아니라는 점을 드러내죠.

4%의 수치가 계속 반복되는 것을 눈치채셨는지도 모르겠네요. 이는 우연이 아닐 수도 있습니다. 저명한 정신과 의사이자 블로거 스콧 시스킨드(Scott Siskind)는 2013년 ‘도마뱀 상수’라는 용어를 만들었는데, 이는 원래 미국 공공정책투표(PPP, Public Policy Polling)의 널리 알려진 한 보고서에서 응답자의 4%가 형체를 바꾸는 도마뱀 인간들이 세상을 통제하고 있다고 믿고 있다고 응답한 일을 일컫는 것이었습니다. 이 설문은 언론의 큰 관심을 받았고, ’음모론 열풍: 왜 1200만 명의 미국인들은 도마뱀 외계인이 인류를 지배한다고 믿는가’와 같은 문구가 헤드라인을 장식했죠. 하지만 시스킨드를 비롯한 연구자들은 이 4%의 정체는 실은 부주의와 장난스러운 응답이지 터무니없는 음모론을 진짜로 믿는 사람들이 아니라고 주장합니다.

도마뱀 인간이 등장하는 설문과 같이 CDC의 보고서도 지대한 관심의 대상이 됐습니다. 그리고 도마뱀 인간에 대한 응답과 같이 문제의 응답 역시 정말 그런 일이 있어서 그렇게 응답한 것일 수도, 아니면 그저 좋지 않은 데이터일 수도 있죠.

아티클을 끝까지 보시려면
유료 멤버십에 가입하세요.
첫 달은 무료입니다!

(03187) 서울시 종로구 청계천로 1 동아일보사빌딩 9층 (주)동아일보사
대표자: 김재호 | 등록번호: 종로라00434 | 등록일자: 2014.01.16 | 사업자 등록번호: 102-81-03525
(03737) 서울시 서대문구 충정로 29 동아일보사빌딩 8층 (주)디유넷(온라인비즈니스)
대표이사: 김승환, 김평국 | 통신판매신고번호: 제 서대문 1,096호 | 사업자 등록번호: 110-81-47558