한시 텍스트마이닝 기법의 적용과 한계

• 영문명: Application and Limitations of Text Mining Techniques in Classical Chinese Poetry
• 발행기관: 어문연구학회
• 저자명: 이병찬(Byoung-chan Lee)
• 간행물 정보: 『어문연구』第121輯, 219~249쪽, 전체 31쪽
• 주제분류: 어문학 > 한국어와문학
• 파일형태: PDF
• 발행일자: 2024.09.30

국문 초록

이 논문은 漢詩를 대상으로 텍스트 마이닝 기법의 적용 방법을 고찰하고 그 한계를 검토한 연구이다. 특히, 본 연구에서는 n-gram과 BERT 모델을 중심으로 한 텍스트 마이닝 기법을 비교 분석하였다. n-gram 기법은 단어 간의 연관성을 바탕으로 문서의 특징을 파악할 수 있다. 그러나 이 기법은 단어 내면의 문맥을 충분히 반영하지 못한다는 단점이 있어, 텍스트의 심층적 해석에 있어 제한적일 수 있다. 반면, BERT 모델은 텍스트의 모든 단어를 양방향으로 분석하여 문맥을 고려한 의미 해석을 가능하게 하는 자연어 처리 모델이다. 단순히 단어의 빈도를 기반으로 하는 것이 아니라, 단어의 위치와 주변 단어들과의 관계를 통해 더 정교한 의미 분석을 수행할 수 있다. 본 연구는 이러한 두 가지 텍스트 마이닝 기법을 한시 텍스트 분석에 적용하여 그 효용성과 한계를 검토하였다. 연구 결과, n-gram과 BERT 모델은 각기 다른 특성과 성능을 보이며, 한시와 같은 전통 문학 텍스트의 분석에 있어 상호 보완적인 접근이 필요함을 확인하였다. n-gram 분석은 간단한 패턴 인식과 텍스트의 전반적인 구조 파악에 유용하며, BERT 모델은 더 깊이 있는 문맥 분석과 의미 해석에 강점이 있다. 본 연구는 n-gram 분석의 사례를 통하여 한시 텍스트에서 자주 나타나는 공통적인 단어와 어구를 분석하고, 이를 바탕으로 한 온톨로지 구축만이 그 시인의 문학적 경향성과 작품의 주제 의식을 더욱 명확히 파악하여 한시의 문학적 가치를 심층적으로 조명할 수 있음을 밝혔다. 또한 BERT 모델을 활용한 김창협 한시의 코사인 유사도 분석은 기계적 분석이 유용하며 가능성이 있음을 보여주었다. 다만 현재 기술의 한계상 연구자 누구나 접근한 도구가 개발된 것도 아니고 원하는 수준이라고 보기 어려운 부분도 존재한다. 한문학 연구자의 눈에 누구나 찾을 수 있는 결과라고 볼 수 있다. 하지만 순전히 기계학습의 결과이며 수십만 수의 漢詩에 적용하면, 유용한 결과를 얻을 것이다. 하지만 대량의 자원과 기술적인 완성도가 필요한 문제가 남아있다. 본 논문은 텍스트 마이닝 기법을 활용하여 한시의 문학적 의미와 구조에 쉽게 접근할 수 있는 새로운 연구 방법론의 가능성을 제시하고자 하였다. 본 연구 결과의 기초 위에 다양한 텍스트 분석 모델의 적용과 그 결과에 대한 비교가 이루어진다면, 이를 통해 더욱 정교한 문학적 해석이 가능해질 것이다.

영문 초록

This study explores the application of text mining techniques to classical Chinese poetry (漢詩) and assesses their limitations. The research specifically compares and analyzes the strengths and weaknesses of text mining methods based on n-gram and BERT models. This study applies both text mining techniques to the analysis of classical Chinese poetry to evaluate their utility and limitations. The results highlight distinct characteristics and performances of the n-gram and BERT models, emphasizing the need for a complementary approach when analyzing traditional literary texts. While n-gram analysis is effective for identifying simple patterns and understanding the overall structure of the text, the BERT model excels in deeper contextual analysis and semantic interpretation. Through n-gram analysis, this research demonstrates the potential to gain a clearer understanding of a poet’s literary tendencies and thematic intentions by analyzing frequently occurring words and phrases in classical Chinese poetry. Additionally, the construction of ontologies based on these analyses can offer deeper insights into the literary value of the texts. Furthermore, cosine similarity analysis of Kim Chang-hyeop's classical Chinese poetry using the BERT model shows that machine-driven analysis holds promise. However, due to current technological limitations, the tools accessible to researchers are still in their developmental stages and not yet fully optimized. While the results may be readily interpretable by scholars of classical literature, large-scale machine learning applications in classical Chinese poetry require significant computational resources and further technical refinement. This paper proposes a new research methodology for accessing the literary meaning and structure of classical Chinese poetry through text mining techniques. The study suggests that further application and comparison of various text analysis models could lead to more refined and sophisticated literary interpretations.

목차

1. 서론

2. n-gram을 활용한 텍스트 마이닝 분류 기술의 한계와 문제

3. BERT를 활용한 텍스트 마이닝 군집 기술의 한계와 문제

4. 결론

키워드

한시 텍스트마이닝 분류 군집(clustering) 엔그램(n-gram) 버트(BERT) Classical Chinese Poetry Text Mining Classification Clustering n-gram BERT