데이터 과학시대 텍스트 데이터 분석기법에 대한 간략한 소개와 제도화를 위한 제언

• 영문명: Introduction to Statistical Analytic Techniques for Text Data and Suggestions for Social Sciences in the Age of Data Science : Dimension-reduction Techniques
• 발행기관: 연세대학교 사회과학연구소
• 저자명: 백영민(Young Min Baek) 박미사(Misa Park)
• 간행물 정보: 『사회과학논집』제49권 제1호, 188~210쪽, 전체 23쪽
• 주제분류: 사회과학 > 사회과학일반
• 파일형태: PDF
• 발행일자: 2018.05.30

국문 초록

정보의 디지털화로 텍스트 자료는 폭발적으로 증가하고 있다. 지금까지 텍스트 자료는 연구자가 직접 읽거나, 연구자가 작성한 코딩지침을 습득한 연구보조원이 읽고 해석한 결과를 활용하는 방식을 통해 분석되었다. 그러나 텍스트 자료의 폭발적 증가로 인해 과거와 같은 방식의 텍스트 분석은 현실적 적용가능성이 낮아지는 상황이다. 대용량의 텍스트 자료를 체계적으로 처리하기 위해 텍스트를 데이터, 즉 의미의 기본단위들의 집합(a set of textual features)으로 간주하고, 텍스트 데이터에 알고리즘을 적용하여 텍스트 자료의 의미를 추정하는 통계적 기법들이 속속 개발되고 있으며 실제 사회과학 연구에서도 활용되고 있다. 본 논문에서는 이들 텍스트 데이터 기법을 (1) 사전기반 접근, (2) 비지도 기계학습 접근, (3) 지도 기계학습 접근으로 구분한 후, 각 접근법이 어떻게 텍스트 데이터를 간주하며 어떤 과정을 통해 문서에 내재한 토픽이나 감정을 추출하는지 간략히 소개하였다. 또한 이들 알고리즘 기반 텍스트 분석방법을 사회과학 연구에 어떻게 활용할 수 있으며, 사회과학 연구에 알고리즘 기반 텍스트 분석방법을 효과적으로 적용하기 위해서는 사회과학 연구방법론 교육에서 Python이나 R과 같은 오픈소스 컴퓨터 언어를 기본 프로그램으로 사용해야 해야 한다는 주장을 제기하였다.

영문 초록

Due to the advent of digitalization, the amount and scope of textual data explodes and provides social scientists many opportunities to exploit the advantages of the increased volume of text data. However, the plausibility of traditional manual content analysis is hardly comprehensive and/or useful because of expensive cost hiring human coders and limited amount of time for the voluminous textual data. In this sense, algorithmic understanding of textual data (i.e., identifying textual data as matrix where documents are on the row and tokens, usually words, are on the column), provides theoretical and practical solutions for the analyses of textual data, in terms of topic detection and sentiment analysis. This study overviews a variety of algorithmic approach to textual data, and provides three groups: (1) lexicon-based approach, (2) unsupervised machine learning approach, and (3) supervised machine learning approach. Those three approaches were introduced with plain words to social scientists and how they can be exploited to understand large-scale textual data and how the predicted meanings of textual data for associational or causal analysis for social scientific theory building and testing. In the discussion section, some practical suggestions regarding how those methods can be used, and what should be done for the algorithmic approach settles in social scientific fields.

목차

Ⅰ. 들어가며

Ⅱ. 텍스트 데이터(text-as-data)란 무엇인가?

Ⅲ. 텍스트 데이터에 적용되는 통계적 모형

Ⅳ. 알고리즘 기반 텍스트 데이터 분석 활용방안

Ⅴ. 텍스트 데이터 분석 제도화 방안

Ⅵ. 결론

참고문헌

키워드

텍스트 데이터 오픈소스 컴퓨터 언어 토픽모형 감정분석 어휘기반 텍스트 분석 기계학습 text data open-source computer language topic modelsentiment analysis lexicon-based text analysis machine learning