딥러닝 기반 언어모델을 이용한 한국어 학습자 쓰기 평가의 자동 점수 구간 분류 - KoBERT와 KoGPT2를 중심으로

• 영문명: Automatic Score Range Classification of Korean Essays Using Deep Learning-based Korean Language Models : The Case of KoBERT & KoGPT2
• 발행기관: 국제한국언어문화학회
• 저자명: 조희련(Heeryeon Cho) 이유미(Yumi Yi) 임현열(Hyeonyeol Im) 차준우(Junwoo Cha) 이찬규(Chankyu Lee)
• 간행물 정보: 『한국언어문화학』제18권 제1호, 217~241쪽, 전체 25쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2021.04.30

국문 초록

이 연구에서는 '한국어 딥러닝 모델'이 '한국어 학습자의 쓰기 자료에 대한 한국어 교사의 평가 점수'를 어느 정도 유사하게 예측할 수 있는지 살펴보았다. 구체적으로 이 연구에서는 304편의 한국어 쓰기 자료와 각각에 대한 평가 점수를 KoBERT와 KoGPT2로 학습시킨 후 그것이 인간 채점자(한국어 교사)의 평가 점수를 어느 정도 유사하게 예측하는지 실험하였다. 학습 데이터는 주제에 따라 '직업'과 '행복'으로 구분하였고, 점수에 따라 4종 레이블을 부착하였다. 7겹 교차 검증을 통한 실험 결과, KoBERT에서는 '직업' 데이터에서 48.8%, '행복' 데이터에서 65.2%의 분류 정확도를 나타냈다. KoGPT2에서는 같은 데이터에 대해 각각 50.6%와 58.9%의 분류 정확도를 나타냈다. 더불어, 모든 주제를 통합한 데이터에서는 KoBERT와 KoGPT2에 대해 각각 54.5%와 46.5%의 분류 정확도를 확인할 수 있었다. 이 연구를 통해 한국어 쓰기 자료에 대한 자동 채점 시스템의 가능성을 확인할 수 있었다. 향후 GPT-3의 한국어 모델이 개발되는 등의 기술 발전이 이루어진다면, 이 연구에서 시도한 한국어 자동 채점 시스템도 충분히 가능할 것으로 기대한다.

영문 초록

Automatic Score Range Classification of Korean Essays Using Deep Learning-based Korean Language Models-The Case of KoBERT & KoGPT2-. We investigate the performance of deep learning-based Korean language models on a task of automatically classifying Korean essays written by foreign students. We construct an experimental data set containing a total of 304 essays, which include essays discussing the criteria for choosing a job (‘job’), conditions of a happy life (‘happiness’), relationship between money and happiness, and definition of success. These essays were divided into four scoring levels, and using this 4-class data set, we fine-tuned two Korean deep learning-based language models, namely, KoBERT and KoGPT2, to use them in the automatic essay classification experiment. The 7-fold cross validation classification accuracies of ‘job’ and ‘happiness’ essays were 48.8% and 65.2% respectively for KoBERT, and 50.6% and 58.9% respectively for KoGPT2. Furthermore, the 7-fold cross validation classification accuracies of the integrated dataset that combined all essays were 54.5% and 46.5% for KoBERT and KoGPT2 respectively.

목차

1. 서론

2. 이론적 배경

3. 한국어 쓰기 답안지 자동 점수 구간 분류 실험

4. 실험 결과

5. 결론

참고문헌

키워드

딥러닝 언어모델 한국어 쓰기 답안지 자동 점수 구간 분류 Deep Learning Language Model Korean Essays KoBERT KoGPT2 Automatic Score Range Classification