'사람보다 독해력 뛰어난' 한국어AI 46개 '순위경쟁' 치열

대졸 성인남성보다 독해실력 뛰어난 인공지능 다수
LG사이언스파크 인공지능팀 95.39점으로 1위 올라
스켈터랩스는 2위로..삼성SDS, ETRI, 네이버도 상위권

한국어 인식 인공지능들이 엎치락뒤치락하며 치열한 순위 경쟁을 벌이고 있다.

인공지능의 한국어 독해능력 테스트인 코쿼드1.0 순위게시판. ※ 이미지를 누르면 크게 볼 수 있습니다.

인공지능의 한국어 독해능력 테스트인 코쿼드(KorQuAD) 1.0을 기반으로 한 ‘한국어 기계독해능력 평가’에서 이번엔 엘지의 인공지능 프로그램이 최고점을 기록하며 1위에 올랐다. .

엘지는 19일 LG사이언스파크가 개발한 인공지능 프로그램이 코쿼드1.0 기계독해 평가에서 95.39점을 받아 1위를 기록했다고 밝혔다. 직전까지는 올 1월 95.15점을 기록한 스켈터랩스(대표 조원규)가 1위였으나, 반년 만에 순위가 바뀌었다.

인공지능의 한국어 독해능력 실력평가는 엘지시엔에스(LG CNS)가 2018년 12월 공개한 한국어 질의응답 데이터셋을 기반으로 진행된다. 코쿼드(KorQuAD: Korean Question Answering Dataset)는 인공지능의 기계 독해 학습 및 검증을 위해 한국어 위키백과로부터 추출한 표준 데이터 10만개로 구성돼 있다. 성능 평가는 데이터셋에서 추출한 내용을 질문으로 만들어 제시하고, 인공지능 모델이 답을 찾아내는 방식으로 이뤄진다.

이번에 엘지사이언스파크 인공지능의 기계 독해 점수 95.39는 사람이 동일한 독해 문제를 풀었을 때 받은 점수(91.2점)를 뛰어넘는 것이다. 기계 독해 평가의 기준점이 되는 사람은 4년제 대학을 졸업한 성인 6명이다. 2018년 코쿼드1.0은 기계 독해 테스트를 위해 이들 6명에게 문제당 30초 제한을 걸고 일주일(시험 시간은 33시간) 동안 시험을 보아 기준점이 되는 ‘성인의 독해력 평균’ 수치를 만들었는데, 평균점수가 91.2점이었다.

기계 독해 평가 문제의 예를 보면, ‘김영하’에 대한 위키백과 항목 서술내용인 “....1995년 단편 <거울에 대한 명상>을 계간 《리뷰》에 발표하며 작품활동을 시작하였고 이듬해 96년 장편《나는 나를 파괴할 권리가 있다》로 제1회 문학동네 작가상을 수상하였다....”라는 구문이 텍스트로 주어지고, 문제는 텍스트를 변형해 “제1회 문학동네 작가상을 수상한 작품으로, 96년 발표된 장편소설은?” 형태로 출제된다.

현재 코쿼드1.0 테스트에 참여한 인공지능의 성적은 홈페이지에 노출되어 있는데, 모두 97개 인공지능이 평가를 받고 성적을 제출했다. 이중에서 46개 팀은 이미 사람 평균(91.2점)을 넘어선 상태이고, 엘지사이언스파크와 비슷한 95점대도 5곳이나 된다.

2016년 12월31일 방영된 <장학퀴즈>에서 한국전자통신연구원(ETRI)의 엑소브레인이 퀴즈 최고수들을 꺾고 우승하며, 한국어 독해능력을 검증한 바 있다. EBS 캡처.

2위 스켈터랩스외에도 삼성SDS가 95.03점으로 4위, 한국전자통신연구원(ETRI)의 엑소브레인이 95.02로 5위, 네이버 클로바AI가 94.75점으로 8위 등 상위권에 올라 있다. 익명과 개인 개발자의 인공지능도 상위권에 여러 개가 올라 있다. 이 가운데서 전자통신연구원의 엑소브레인은 2016년 장학퀴즈에 출전해 2016년 상·하반기 ‘장학퀴즈’ 왕중왕, 수능 만점자 등 퀴즈달인들과의 경쟁에서 우승을 차지하며 인공지능의 한국어 독해력을 널리 알렸는데, 현재는 엑소브레인보다 뛰어난 한국어 독해 인공지능이 여럿이라는 것을 보여준다. 다수의 인공지능 기계독해 모델은 구글이 개발한 자연언어처리 인공지능 딥러닝 모델 BERT를 활용한 프로그램이다.

엘지는 “엘지사이언스파크 인공지능이 BERT기반 기술에 엘지가 독자적 전처리를 통해 선별된 4억개의 한국어 문장 데이터를 기반으로 한국어에 특화된 형태소 분석기를 개발했다”고 밝혔다. 엘지사이언스파크 AI추진단은 지난달 세계적 권위의 ‘컴퓨터 비전 학회(CVPR)’가 개최한 ‘연속학습 기술 경연대회’에서 캐나다 토론토대와 공동팀을 이뤄 아마존, 도쿄대 등을 제치고 1위를 차지한 바 있다.

구본권 선임기자 starry9@hani.co.kr

▶더불어 행복한 세상을 만드는 언론, 한겨레 구독하세요!
▶네이버 뉴스판 한겨레21 구독▶2005년 이전 <한겨레> 기사 보기

[ⓒ한겨레신문 : 무단전재 및 재배포 금지]