고차원 선형모형에서 벌점화우도 방법을 이용한 변수 선택방법 연구

• 영문명: The Study of Variable Selection Methods Using the Penalized Likelihood Methods in High-dimensional Linear Model
• 발행기관: 한국자료분석학회
• 저자명: 주아림(Alim Joo) 전수영(Sooyoung Cheon)
• 간행물 정보: 『Journal of The Korean Data Analysis Society (JKDAS)』Vol.17 No.5, 2391~2402쪽, 전체 12쪽
• 주제분류: 자연과학 > 통계학
• 파일형태: PDF
• 발행일자: 2015.10.30

국문 초록

선형회귀모형에서 표본 크기 이 공변량의 수 보다 큰 경우 여러 가지 변수 선택방법 중 일반적으로 전진적 선택방법, 후진적 제거방법, 단계적 선택방법 등이 사용된다. 하지만, 가 에 비해 매우 큰 경우인 고차원문제를 가지는 선형모형에서는 이러한 방법들을 사용하는 데에 어려움이 있다. 이러한 변수선택의 어려운 점을 극복하기 위해 유의하지 않은 변수들을 제거하는 다양한 regularization 또는 shrinkage 방법이라고도 불리는 벌점화우도(penalized likelihood) 방법들이 고차원 선형모형에서 제안되었다. 본 논문은 고차원 선형모형에서 사용이 용이한 변수 선택방법에 대한 연구로, 여러 가지 벌점화우도 방법들에 대해 알아보고 그 응용성을 알아본다. 그 중에서 ridge, LASSO, LARS, elastic net, adaptive LASSO 등 다섯 가지 벌점화우도 방법의 특징을 간단히 살펴보고, 실제 자료인 전립선(prostate) 자료와 한국 경제 수치자료에 적용해 본다. RSS, AIC, BIC를 평가기준으로 다섯 가지 벌점화우도 방법의 실 자료 분석 결과 고차원 선형모형에서 가장 적합한 방법은 LARS 알고리즘이었다.

영문 초록

If the sample size is greater than the number of covariates or parameters, typically forward selection, backward elimination and stepwise selection methods are used among several variable selection methods. However, in the case of high-dimensional linear models, it is difficult to use such methods. In order to overcome this problem, penalized likelihood, also called regularization or shrinkage, methods may be used in high-dimensional linear models. This paper considers several variable selection methods used in high-dimensional linear models, and investigates the applicability of penalized likelihood methods. We briefly review ridge, LASSO, LARS, elastic net, adaptive LASSO, and apply these methods to the real data, prostate and Korea economic index data. Numerical results indicate that the best method was the LARS algorithm among five penalized likelihood methods based on RSS, AIC and BIC.

목차

1. 서론

2. 고전적 모형 선택방법

3. 고차원 선형모형에서의 모형 선택방법

4. 실증분석

5. 결론

References

키워드

변수선택방법 고차원 능형 Variable selection method High-dimension Ridge LASSO LARS