인공지능 기반 한문 번역을 위한 코퍼스 추출 및 정제 과정

• 영문명: Corpus Extraction and Purification Process for AI-based Chinese Character Translation
• 발행기관: 한국리터러시학회
• 저자명: 전병구
• 간행물 정보: 『리터러시 연구』14권 4호, 41~67쪽, 전체 27쪽
• 주제분류: 사회과학 > 교육학
• 파일형태: PDF
• 발행일자: 2023.08.31

국문 초록

인공지능의 영역이 날로 확대하는 시대에 AI를 활용하여 산적한 한문 고전을 번역할 수 있다면 얼마나 좋을지 상상만 해도 즐거운 일이다. 인공지능 번역을 상용화한다면 한문 번역에 들어가는 인력과 시간을 파격적으로 줄일 수 있기 때문이다. 이를 위해 여러 기관에서 인공지능을 활용한 한자 인식과 한문 번역 프로그램을 개발하면서 성능을 높이고 있다. 인공지능 한문 번역에 관해서는 기술 분야를 중심으로 연구가 집중되어 있고 코퍼스 추출 과정과 정제 과정에 관해서는 보고된 연구가 없다. 인공지능을 훈련하는 딥러닝(Deep Learning)을 위해서는 자동번역 데이터, 즉 한문원문과 번역문을 병렬로 연결한 코퍼스가 만들어져야 한다. 코퍼스를 만들기 위해서는 먼저 휴먼 번역을 통해 많은 코퍼스 자료를 추출하고, 상세한 지침을 바탕으로 정제 작업을 거쳐 양질의 코퍼스를 만든다. 여기에서는 추출된 코퍼스 자료가 어떻게 취사선택 되었는지 그 정제 과정을 확인하고자 하였다. 코퍼스 정제 과정을 확인한 결과 각종 제목과 항목, 명칭 등의 단어나, 도량형 단위 또는 사람 숫자를 모두 제외하였다. 지명, 인명, 관직, 장소, 품목, 연월일, 고유명사가 들어간 짧은 문장도 제거하였다. 또 문장 첫머리에 나오는 부사, 접속사, 시제, 발어사 등 한두 글자로 된 접두어도 삭제하였다. 추후 인공지능 기반 한문 번역을 위한 코퍼스 구축에서 이런 내용을 참작하여 추출작업을 한다면 번역 기간과 경비를 크게 단축할 수 있을 것으로 기대한다.

영문 초록

It is fun to imagine how good it would be to be able to translate a lot of Chinese classics by using AI in an era where the field of AI is expanding day by day. This is why commercialization of machine translation called artificial intelligence can drastically reduce the manpower and time spent on classical Chinese translation. To this end, various institutions are improving their performance by developing artificial intelligence Chinese character recognition and Chinese character translation programs. AI-based Chinese character translation, research is concentrated in the field of technology, and there are no reported studies on the corpus extraction process and purification process. For deep learning, which trains artificial intelligence, automatic translation data, that is, corpus that connects Chinese text and translations in parallel, must be created. In order to make a corpus, a lot of corpus data is extracted through human translation, and a high-quality corpus is made through refining based on detailed guidelines. Here, we tried to confirm the purification process of how the extracted corpus data were selected. As a result of checking the corpus purification process, words such as various titles, items, and names, metrological units or number of people were all excluded. Short sentences containing place names, human names, government posts, places, products, dates, and proper nouns were also removed because they were not appropriate as corpus. In addition, prefixes consisting of one or two letters, such as adverbs, conjunctions, tense, and pronounciation at the beginning of the sentence, were deleted. In the future, it is expected that the time and expense of translation will be greatly reduced if extraction is carried out in consideration of these contents in the construction of corpus for AI-based Chinese character translation.

목차

1. 머리말

2. 코퍼스 추출 과정

3. 코퍼스 정제 과정

4. 맺음말

키워드

인공지능 한문 번역 코퍼스 추출 정제 artificial intelligence Chinese character translation corpus extraction purification