점별 상호정보량을 이용한 LDA 토픽모형 추론

• 영문명: Inference of Latent Dirichlet Allocation Topic Model using PMI
• 발행기관: 한국자료분석학회
• 저자명: 남소희(Sohee Nam) 전수영(Sooyoung Cheon)
• 간행물 정보: 『Journal of The Korean Data Analysis Society (JKDAS)』Vol.21 No.6, 2789~2800쪽, 전체 12쪽
• 주제분류: 자연과학 > 통계학
• 파일형태: PDF
• 발행일자: 2019.12.31

국문 초록

LDA 토픽모형은 수많은 문서집합 내의 토픽을 추출하는 통계적 모형으로, 하나의 문서를 여러 단어들의 집합으로 간주하며 문서에서 높은 빈도로 동시에 발생하는 단어집합을 추출해주는 클러스터링기법의 일종이다. LDA 모형은 문서집합 내 단어들을 통해서 해당 토픽이 어떤 이슈인지 파악할 수 있으며 토픽들이 문서상에서 어떤 분포를 가지는지 계산할 수 있어 높은 성능과 편의성으로 토픽모형 분야에서 표준적인 방법으로 인식되고 있다. LDA 토픽모형추론을 위한 근사추론 연구는 Bag-of-Word 기반으로 각 단어의 가중치를 동등하게 보아 상대적 중요성을 고려하지 않는다. 본 연구는 단어의 상대적 중요성을 반영한 점별 상호정보량을 이용한 근사적인 사후분포를 이용하고, 사후분포로 부터 표본추출을 위해 깁스내 메트로폴리스-헤스팅스(PWMH-Gibbs) 알고리즘을 이용한 근사추론 방법을 제안하고자 한다. PWMH-Gibbs 알고리즘은 불용어 및 빈번하게 사용되는 단어를 제거하여 LDA 토픽모형의 성능을 향상시킨다. PWMH- Gibbs 알고리즘을 이용한 근사추론 방법은 실 자료 분석을 통해 제안된 방법이 더욱 정확한 결과를 제공하는 우수성을 보여 준다.

영문 초록

The LDA topic model is a statistical model for extracting topics within a large collection of documents. This model is a kind of clustering technique that considers a document as a set of multiple words and extracts a set of words that occur simultaneously in a document at a high frequency. Through the words in the document set, we can figure out which issues are related to the topic and calculate how the topics are distributed in the document. It is recognized as a standard method in the topic model field because of high performance and convenience. The methods of traditional approximation inference for the LDA topic model are not consider the relative importance of word based on Bag-of-Word. We propose an approximation inference method using PMI weighted Metropolis-Hastings within Gibbs (PWMH-Gibbs) with the relative importance of word. PWMH-Gibbs improves the performance of the LDA topic model by removing stopwords and common words. The numerical results indicate that PWMH-Gibbs can outperform callapsed Gibbs and MH within Gibbs producing much more accurate estimates.

목차

1. 서론

2. LDA 토픽모형 근사추론

3. PWMH-Gibbs 알고리즘을 이용한 LDA 근사추론

4. 모의실험 및 실증분석

5. 결론

References

키워드

텍스트 마이닝 토픽모형 잠재 디리클래 할당 마코브체인 몬테카를로 점별상호정보 text mining topic model latent Dirichlet allocation Markov chain Monte Carlo pointwise mutual information