헤더 바로가기 메뉴 바로가기 푸터 바로가기
데이터 사이언스

AI가 수능 점수를 매기면 무슨 일이 벌어질까

디지털
2020. 10. 22.
Aug20_12_603591552_1173286567

AI가 여러분 자녀가 갈 대학을 결정하게 된다고 생각해보세요. 어떤 기분이 드세요?

올해 코로나19는 고등학교 교육 과정에서 큰 영향을 끼쳤습니다. 일부 국가에서는 대입을 치르는 수백만 명의 고등학생이 올해 치르기로 예정된 졸업시험, 대입 시험을 실시하지 않겠다고 결정하기도 했죠. 이 때문에 대입 시험 담당 기관에서는 올해 졸업생들의 미래를 결정 지을 최종 입시 점수를 어떻게 매겨야 하나 골머리를 앓고 있어요. 이 중 한 곳인 국제대학입학자격시험기구(IBO, International Baccalaureate Organization)에서 인공지능(AI)을 적용해 학생들의 점수를 매기겠다고 발표했습니다. 학생들이 그동안 받은 성적과 기타 활동, 각종 데이터 등을 동원해 최종 점수를 매기겠다는 거죠. (이 아티클에서 AI란 데이터를 이용해 원래 인간이 하던 일을 대신해주는 컴퓨터 프로그램 일반을 가리킵니다. 지금처럼 학생들 점수 매기는 일도 포함합니다.)

결론부터 말씀드리면 IBO의 시도는 실패로 끝났습니다. 화가 머리끝까지 난 수천만 명의 학생과 학부모가 지금까지 항의 시위를 벌이고 있을 정도입니다. 무엇이 문제였을까요? 이처럼 AI를 활용한 솔루션을 사용할 때 어떤 문제가 발생할까요?


IB(국제대학입학자격)이란 무엇인가?

IB는 세계에서 손꼽는 학교들이 도입한 중등 과정 프로그램으로 철저한 엘리트 교육을 자랑합니다. 여기서 좋은 점수를 받으면 150개 이상 국가의 명문 대학, 인재들이 모였다는 그런 대학들에 입학할 길이 열립니다.

정상적인 해였다면 최종 점수는 그동안 학교 수업을 듣고 받은 성적과 IBO가 직접 주관한 시험 성적을 합산해 확정됐겠죠. 최종 점수에서 학교 내신 비중은 전체의 20~30% 정도이고 나머지는 시험 점수가 차지하고요. 시험 전 교사는 각 학생의 그간 학업 성취도를 토대로 '예상 점수’를 공개합니다. 대학 측에서는 이 예상 점수대로 최종 점수가 나온다는 조건 아래 잠정 합격자를 선발합니다. 또한 각 학교에서 내신 부풀리기를 일삼을 수도 있는 탓에 학교별로 표본을 내어 점수를 조정합니다.

이 과정이 워낙 철두철미하고 정교해 높은 평가를 받았죠. IBO는 학과목 데이터는 물론 각 학교에 대한 상당한 데이터를 수집해 보유하고 있습니다. 그 데이터만 수십만 개에 육박합니다. 어떤 경우에는 역대 50년 통계를 전부 볼 수 있을 정도입니다. 가장 중요한 대목은 예상 점수와 실제 점수가 거의 일치한다는 점입니다. IB를 도입한 유수 학교의 90% 이상이 예상 점수와 실제 점수가 일치했습니다. 총점의 95% 이상이 예측 범위 안의 점수인 것으로 확인됐습니다. (총점 범위: 1~45)


그리고 코로나19가 닥치다

2020년 봄, IBO는 선택의 기로에 서게 됐죠. 시험을 강행할지, 아니면 취소할지, 어떻게 성적을 매길지 결정해야 했습니다. 시험을 그대로 단행하면 학생과 교사의 안전을 보장하기 어려워져서 고민이었습니다. 또 공정성 문제도 야기될 가능성이 있었지요. 일부 국가에서는 재택 시험을 진행하는데 일부 국가에서는 학교에 직접 와서 시험을 치르는 등 시험 환경이 달라졌거든요.

시험을 취소한다? 그러면 최종 성적은 대체 어떤 방식으로 매길지 기준을 마련해야 합니다. 이런 사정 때문에 IBO가 AI에 눈을 돌린 것입니다. 자신들에게 학생들의 학업 성적과 예측 성적, 지난 수년간의 실제 성적 자료가 넘쳐나도록 많다는 점에 주목했지요. 2020년 졸업 예정자가 시험에서 어떤 성적을 받을지 계산하는 총점 예측 모형을 개발하기로 결정했습니다. 이 아티클이 공개되는 시점에서는 어느 업체가 IBO와 계약을 맺고 모형을 만드는지 밝혀지지 않은 상태였습니다.

그런데 2020년 7월 초 최종 성적이 발표되자 논란이 일었습니다. 세계 각지 수만 명의 학생이 받은 최종 점수가 예상 점수에서 크게 벗어난 수준이었던 겁니다. 더구나 왜 그런 점수가 나왔는지 이 AI 모형은 제대로 된 해명을 제시하지 못했습니다. 이에 지금까지 항의 시위가 지속되고 있습니다. 시위 참가자 수를 보면 2020년 IB 과정 수료 예정자 가운데 15%(2만4000명)를 넘어섰죠. IB의 소셜미디어 계정에도 분노에 찬 비판 댓글을 줄줄이 달렸습니다. 일부 국가에서는 정식 수사를 개시했습니다. 또 수많은 사람이 유럽의 개인정보보호법(GDPR) 규정에 어긋난 데이터 오용(data abuse)을 이유로 법정 싸움을 준비하고 있기도 합니다. 여기서 끝이 아닙니다. IB프로그램을 도입하지 않은 고등학교에서도 이 AI 채점 모형을 적용하는 바람에 문제가 생겼다고 합니다. 학교는 물론 학생, 학부모 모두 비슷한 문제를 이야기하고 있습니다. 특히 영국에서는 올 8월13일 A 레벨 과목들의 최종 성적이 나올 예정인데요. 걱정이 이만저만 아닙니다. A 레벨 과정이란 영국 대학 진학을 위해 필수로 거쳐야 하는 교육 과정입니다.

아티클을 끝까지 보시려면
유료 멤버십에 가입하세요.
첫 달은 무료입니다!

(03187) 서울시 종로구 청계천로 1 동아일보사빌딩 9층 (주)동아일보사
대표자: 김재호 | 등록번호: 종로라00434 | 등록일자: 2014.01.16 | 사업자 등록번호: 102-81-03525
(03737) 서울시 서대문구 충정로 29 동아일보사빌딩 8층 (주)디유넷(온라인비즈니스)
대표이사: 김승환, 김평국 | 통신판매신고번호: 제 서대문 1,096호 | 사업자 등록번호: 110-81-47558