고유벡터 기저를 이용한 회귀방법의 비교

• 영문명: Comparison of Regression Methods using Eigenvector Bases
• 발행기관: 한국자료분석학회
• 저자명: 김종덕(Jong-Duk Kim)
• 간행물 정보: 『Journal of The Korean Data Analysis Society (JKDAS)』Vol.6 No.1, 205~218쪽, 전체 14쪽
• 주제분류: 자연과학 > 통계학
• 파일형태: PDF
• 발행일자: 2004.02.28

국문 초록

본 논문에서는 선형회귀모형에서 설명변수 행렬 X 가 완전계수 행렬이 아닌 일반적인 경우에 보통최소제곱법, 주성분회귀, 편최소제곱회귀, 능형회귀, 일반화능형회귀의 해를 비정칙분해와 일반화 역행렬을 이용하여 통합적인 식으로 유도하고 각 방법에서 고유벡터 기저를 어떠한 형태로 결합하여 해가 형성되는지를 보이고 그 해들 간의 관계를 고유벡터의 관점에서 비교하고 관련성과 차이를 규명한다. 간단한 데이터를 사용하여 수치적으로 보충 설명한다.

영문 초록

In this paper we derive a unified expression of the solutions for ordinary least squares, principal component regression, partial least squares regression, ridge regression and generalized ridge regression using the singular value decomposition and generalized inverses, and show how the solutions are formed in terms of eigenvector basis. We then explore the interrelationships and differences among those solutions and give a simple numerical example to explain the expressions.

목차

1. 서론

2. 능형회귀와 일반화능형회귀

3. 통합적 회귀해

4. 고유벡터 기저를 이용한 회귀해의 비교

5. 수치 예

참고문헌

키워드

능형회귀 일반화능형회귀 주성분회귀 편최소제곱회귀 고유벡터 기저 비정칙값분해 Ridge regression Generalized ridge regression Principal component regression Partial least squares regression Eigenvector basis Singular value decomposition