생성형 AI의 한국어 문맥 해석 연구 : 챗GPT의 접속 부사 해석을 중심으로

• 영문명: A Study on the Interpretation of Korean Context by Generative AI : Focusing on the Interpretation of Conjunctive Adverbs by ChatGPT
• 발행기관: 한국정치사회연구소
• 저자명: 박건숙(Keonsook Park)
• 간행물 정보: 『한국과 국제사회』제8권 제6호, 763~786쪽, 전체 24쪽
• 주제분류: 복합학 > 학제간연구
• 파일형태: PDF
• 발행일자: 2024.12.31

국문 초록

본 연구의 목적은 생성형 AI의 한국어 문맥 해석 성능을 평가하는 것으로, 이를 위해 접속 부사 {그래서/ 그러나/ 그런데/ 그리고}가 쓰인 784개 텍스트를 대상으로 챗GPT의 접속 부사 사용을 평가하고 오류의 원인을 분석하였다. 분석 결과 첫째, 챗GPT의 접속 부사 사용 오류율은 약 21%로 총 784개 중 170개의 텍스트에서 의미 해석의 오류가 발생했다. 둘째, [인과/ 대조/ 전환/ 나열] 중에서 오류 비율은 [인과/ 전환]의 {그래서}와 {그런데}가 약 30%로 가장 높게 나타났다. 이는 챗GPT가 예측과 추론이 필요한 [인과] 관계 해석에는 한계가 있음을 의미한다. 셋째, 텍스트 유형에 따른 오류 비율은 ‘소설’이 29%로 가장 높게 나타나고 ‘논설문’이 14%로 가장 낮게 나타났다. 이는 챗GPT가 논리에 기반한 텍스트에서 문맥을 더 정확하게 해석한다는 것을 의미한다. 넷째, 챗GPT는 문맥 의미를 해석하는 과정에서 접속 부사의 위치를 잘못 계산하거나 구절 및 문장의 일부를 누락하는 등 텍스트 분석 과정에서 오류가 나타났다. 본 연구는 생성형 AI의 한국어 문맥 해석 성능과 한계를 문장 층위에서 분석하였다는 점에서 의의가 있으며 이는 생성형 AI의 효과적인 사용 방법과 성능 개선 방안을 모색하는 데에 도움을 줄 것이다.

영문 초록

The purpose of this study is to evaluate the performance of generative AI in interpreting Korean texts. Accordingly, we analyzed ChatGPT’s use of conjunctive adverbs in 784 texts to evaluate its performance in interpreting the context of the texts. As a result of the analysis, first, the error rate in the use of conjunctive adverbs was approximately 21%, which means that errors in semantic interpretation occurred in 170 out of 784 texts. Second, among [causation/contrast/transition/listing], the error rate was highest in {geuraeseo} and {geureonde} in [causation/transition]. Third, the error rates differed by text type, with “novels” showing the highest error rate at 29%, and “argumentative texts” the lowest at 14%. This indicates that ChatGPT interprets context more accurately in texts based on logical reasoning. Fourth, ChatGPT made errors such as miscalculating the location of conjunctive adverbs or omitting parts of phrases and sentences during the text interpretation process. This study is significant for quantitatively evaluating ChatGPT's performance in interpreting Korean text contexts and analyzing error causes.

목차

Ⅰ. 서론

Ⅱ. 연구 방법

Ⅲ. 분석 결과

Ⅳ. 결론 및 제언

참고문헌

키워드

생성형 AI 챗GPT 한국어 문맥 해석 접속 부사 텍스트 유형 한국어능력시험 챗GPT 성능 평가 Generative AI ChatGPT Korean Context Interpretation Conjunctive Adverbs Text Type Korean Language Proficiency Test ChatGPT Performance Evaluation