한국어 학습자 오류에 대한 거대언어모델과 모어 화자의 교정 양상 비교 연구

• 영문명: A Comparative Study of Error Correction Patterns between Large Language Models and Native Speakers for Korean Language Learners
• 발행기관: 국제한국언어문화학회
• 저자명: 남신혜(Sinhye Nam)
• 간행물 정보: 『한국언어문화학』제21권 제3호, 29~52쪽, 전체 24쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2024.09.30

국문 초록

본 연구는 외국인 한국어 학습자의 작문에서 나타나는 오류를 인간 교정자와 거대언어모델의 교정 양상을 비교ㆍ분석하였다. 이를 통해 현재 LLM의 한국어 자동 교정 도구로서의 활용 가능성을 평가하고자 하였다. 연구 자료는 국립국어원의 <한국어학습자말뭉치>에서 수집된 고급 학습자 작문 100개였으며, 교정 결과는 문장 단위로 비교하여 코사인 유사도를 산출하였다. 분석 결과, LLM의 교정 결과와 인간 교정자의 교정 결과는 평균 0.8의 유사도를 보였으며, 전체 문장의 약 40%는 완전히 일치하였다. 그러나 문체와 화계, 피동 구문, 문법 구조, 연어 생성 등에서 차이가 나타났다. LLM은 문체를 일관되게 하지 못하거나, 한국어의 특정 문법 구조를 올바르게 처리하지 못하는 경향을 보였으나, 연어 생성에서는 상대적으로 더 자연스러운 표현을 제공하는 경우도 있었다. 본 연구는 LLM의 한국어 교정 능력에 대한 연구로서 의의가 있으며 향후 연구에서는 다양한 학습자 변인과 데이터의 확장을 통한 심층 분석을 제언한다.

영문 초록

This study compares and analyzes the error correction patterns in the writing of Korean language learners between human correctors and large language models (LLMs). The primary goal is to evaluate the feasibility of utilizing LLMs as automatic Korean error correction tools. The research data comprises 100 writing samples from advanced learners, sourced from the National Institute of Korean Language's Korean Learners Corpus. The correction results were compared sentence by sentence, and cosine similarity was calculated to measure the alignment. The findings indicate an average similarity score of 0.8 between LLM corrections and human corrections, with around 40% of the sentences showing complete agreement. However, notable differences were observed in terms of stylistic consistency, speech levels, passive constructions, grammatical structures, and collocation generation. LLMs exhibited inconsistencies in maintaining style and handling specific grammatical structures in Korean, yet in some cases, they provided more natural collocations. This research holds significance as an evaluation of the current capabilities of LLMs in Korean error correction. Future studies are suggested to expand on learner variables and data to provide deeper insights.

목차

1. 들어가는 말

2. 거대언어모델과 한국어

3. 연구 방법

4. 분석 결과

5. 맺음말

참고문헌

키워드

한국어 학습자 말뭉치 거대언어모델 자동 교정 도구 코사인 유사도 Korean Learners Corpus Large Language Model Automatic Correction Tool Cosine Similarity