선형판별분석에서의 변수 선택

• 영문명: Variable Selection in Linear Discriminant Analysis
• 발행기관: 한국자료분석학회
• 저자명: 하재환(Jae Whan Ha) 박창이(Changyi Park)
• 간행물 정보: 『Journal of The Korean Data Analysis Society (JKDAS)』Vol.11 No.1, 381~389쪽, 전체 9쪽
• 주제분류: 자연과학 > 통계학
• 파일형태: PDF
• 발행일자: 2009.02.28

국문 초록

선형판별분석은 로지스틱회귀와 함께 현실의 문제에 자주 사용되는 분류기법이다. 그러나 고차원 자료에 대하여 선형판별분석은 몇 가지 단점이 있다. 선형판별분석은 변수 선택 기능이 없기 때문에 그 최종모형의 해석력이 떨어질 수 있고 잡음변수가 많아지면 예측력 또한 떨어질 수 있다. Bishop(1995)에 따르면 이항분류(binary classification)문제에서 선형판별분석과 출력변수를 적절히 새로 코딩한 회귀분석의 해가 동일하다. 본 논문에서는 이러한 결과를 이용하여 라쏘(least absolute shrinkage and selection operator, LASSO) 회귀를 통한 변수선택을 연구한다. 기존 회귀분석의 최적 부분집합 선택법(best subset selection)은 불연속적으로 부분집합의 선택이 이루어지는 반면 LASSO 회귀는 연속적으로 선택을 한다. 특히 본 논문의 방법은 실제 판별함수가 성근(sparse) 경우에 성근 해를 준다. 따라서 이 방법은 변별력 있는 변수의 개수가 작은 고차원 자료에서 효과적일 것으로 기대된다. 모의실험 및 실제 자료 분석을 통하여 이 방법이 잡음 변수가 많은 경우에 설명력 있는 변수들을 효과적으로 잘 선택하고 선형판별분석과 최적 부분집합 선택법에 비해 더 효율적임을 보였다.

영문 초록

Along with logistic regression, linear discriminant analysis is a commonly used classification technique in practice. However, for high dimensional data, linear discriminant analysis has some drawbacks. Since linear discriminant analysis does not have the capability of variable selection, its final model may be difficult to interpret and its prediction error may increase due to noise variables in the final model. According to Bishop (1995), linear discriminant analysis and the regression with appropriately transformed output variable yield the same solution. In this paper, we study variable selection problem via a penalized regression with LASSO penalty. While best subset selection methods in regression does a discrete subset selection, LASSO regression does a continuous selection. In particular, the method yields sparse solution when true underlying discriminant function is sparse. So the method is expected to be efficient for high dimensional data with a few relevant variables. Through simulated and real data analysis, we illustrate that the method can select relevant variables effectively and may outperform linear discriminant analysis and best subset selection in presence of noise variables.

목차

1. 서론

2. SLDA에 대한 소개

3. 자료 분석

4. 결론

참고문헌

키워드

고차원 자료 분류 최적 부분집합 선택법 Best subset selection classification high dimensional data LASSO