비모수 검정통계량을 이용한 회귀나무 분리기준 모의실험연구

• 영문명: A Simulation Study on Regression Tree Split Criterion using Non-parametric Test Statistics
• 발행기관: 한국자료분석학회
• 저자명: 이성건(Seong Keon Lee)
• 간행물 정보: 『Journal of The Korean Data Analysis Society (JKDAS)』Vol.27 No.1, 117~124쪽, 전체 8쪽
• 주제분류: 자연과학 > 통계학
• 파일형태: PDF
• 발행일자: 2025.02.28

국문 초록

최근 대규모의 빅데이터를 이용한 알고리즘(algorithm) 기반의 기계학습(machine learning) 방법론이 각광받고 있으며 의사결정나무는 그 대표적인 방법론 중 하나이다. 특히 Random Forest, XGBoost 등 의사결정나무 기반의 Ensemble 방법론에 대한 많은 연구들이 제시되고 있으며, 이러한 방법론은 대용량의 데이터에서 우수한 성능을 보이지만, 작은 소표본의 데이터에서는 적합하지 않다. 소규모 데이터에 대해서 재표본(re-sampling) 방법론은 기저 분포에 대한 정보를 효과적으로 주지는 못하는 것이다. 다양한 현실의 문제에서는 많은 소표본의 상황이 존재하지만 이에 대한 효율적 의사결정나무 방법론은 많지 않다. 본 연구에서는 소규모 데이터에 대한 회귀나무(regression tree)의 구축에 대해서 검토하였다. 특히, 회귀나무의 구성에서 가장 중요한 분리변수(split variable) 탐색에 통계적 비모수 검정법(non-parametric test)을 적용하였으며, Lepage 검정통계량, Cucconi 검정통계량, PG 검정통계량 등을 고려하였다. 모의실험을 통한 비교 결과, 소규모 데이터일 경우, 비모수적 위치-척도 검정법을 이용한 의사결정나무가 우수한 성능을 보이고 있음을 확인할 수 있었다.

영문 초록

Recently, algorithm-based machine learning methodologies using large-scale big data have prominent, and decision trees are one of the methodologies. In particular, many studies on ensemble methodologies based on decision trees such as Random Forest and XGBoost have been presented, and these methodologies show excellent performance in large data sets but are not suitable for small samples. For small-sized data, re-sampling methodologies do not effectively provide information about the underlying distribution. In various real-world problems, there are many situations with small samples, but there are not many efficient decision tree methods for them. In this study, we examined the regression trees for small-sized data. In particular, we applied statistical non-parametric test statistics to explore the true split variables in the construction of regression trees, considering test statistics such as Lepage's test statistic, Cucconi's test statistic, and PG's test statistic. As a result of the comparison through simulation studies, decision trees using non-parametric location-scale tests show good performance when dealing with small-sized data.

목차

1. 서론

2. 비모수적 검정법

3. 모의실험 설계

4. 모의실험 결과

5. 결론

References

키워드

회귀나무 분리기준 분리변수 비모수적 검정법 소표본 regression tree split criterion non-parametric test small sample