삼성SDS가 개발한 인공지능(AI) 자연어 이해 학습모델이 한국어 기계독해 경진대회(KorQuAD 2.0) 성능평가에서 1위를 차지했다.
경진대회는 실제 정답과 일치하는 비율을 의미하는 EM(Exact Match)과 정밀도와 재현율을 종합 고려한 수치인 F1 점수로 평가된다.
삼성SDS는 두 점수 모두 최고 점수인 EM 73.51, F1 86.56를 기록했다. 이 점수는 독해 문제를 사람이 풀었을 때 받은 EM 점수 68.82점, F1 점수 83.86점을 뛰어넘는 최초의 결과다.
AI 자연어 이해 학습모델 개발을 담당한 삼성SDS 김민수 AI선행연구랩장은 19일 “삼성SDS의 자연어 이해 학습모델이 최초로 사람 수준을 능가했다는데 의의가 있다”며 “다양한 디지털 트랜스포메이션 사업에 적용 가능한 자연어 이해 수준을 향상시킬 계획”이라고 전했다.
KorQuAD(The Korean Question Answering Dataset)란 자연어 이해(NLU·Natural Language Understanding) 학습용 한국어 질의응답 표준 데이터다. 표제어와 설명을 담은 정보와 질의응답으로 구성된다.
기계독해(MRC·Machine Reading Comprehension)란 기계가 주어진 지문과 질문을 이해해 지문 내에서 답변 영역을 찾는 자연어 처리 과제로 자동 질의응답 기술의 핵심이다.
관련기사
