빅데이터에서의 t통계량과 변동계수에 대한 영향함수 성능 비교 및 관계 규명

• 영문명: A Study on the Comparison of Performances and the Verification of Relationship between Influence Functions on t Statistic and Coefficient of Variation in Big data
• 발행기관: 한국자료분석학회
• 저자명: 나도겸(Dogyeom Na) 김홍기(Hoggie Kim)
• 간행물 정보: 『Journal of The Korean Data Analysis Society (JKDAS)』Vol.21 No.3, 1275~1284쪽, 전체 10쪽
• 주제분류: 자연과학 > 통계학
• 파일형태: PDF
• 발행일자: 2019.06.30

국문 초록

영향함수는 Hampel(1974)에 의해 처음 소개된 대용량 데이터에서 이상치 판별을 위한 방법 중 하나로, 본 연구논문에서는 통계량별 영향함수의 성능의 차이가 있는지 알아보고, 비교해보고자 하였다. 그 방법으로 많은 통계량 가운데 t통계량과 변동계수를 대상으로 영향함수의 절대비교, 상대오차 개념을 적용한 상대차이, 벡터로 정의한 영향함수에 상대오차 개념을 적용한 벡터공간에서의 상대차이를 정의하여 영향함수 성능을 비교하였다. 또한 서로 역수 관계에 있는 t통계량과 변동계수가 경험적 영향함수에서 공통된 값을 가진다는 점을 착안해 두 통계량의 경험적 영향함수 간의 관계를 식으로 유도 및 규명하였다. 그 결과, 상대차이가 더 작게 나타난 변동계수의 영향함수가 t통계량의 영향함수보다 성능이 더 우수하다고 판단되어지며, t통계량의 영향함수를 사용할 때 좀 더 주의를 요한다는 점을 시사했고, t통계량의 경험적 영향함수는 표본평균의 제곱을 표본분산으로 나눈 값을 포함한 상수와 변동계수의 경험적 영향함수의 곱과 같았으며, 변동계수의 경험적 영향함수는 그 역수인 표본분산을 표본평균의 제곱으로 나눈 값을 포함하는 상수와 t통계량의 경험적 영향함수의 곱과 같다는 관계를 증명하였다.

영문 초록

Data involving outlier should be carefully analyzed because it can lead to distorted results. But it is not easy to analyze those outliers because big data usually has a characteristic of large scale and short cycle. In this paper, we validate and compare the performances of influence functions on t statistic and coefficient of variation after defining relative difference using influence function that can be used to find outliers in big data. We also induce the empirical influence function relationship between on t statistic and on coefficient of variation from the formula and check through simulation. As a result, the performance (prediction) of influence function on coefficient of variation is better than that on t statistic. And they also have a multiplicative relationship. Empirical influence function on t statistic equates to    multiplied by empirical influence function on coefficient of variation. And empirical influence function on coefficient of variation is the reciprocal of    times empirical influence function on t statistic.

목차

1. 서론

2. 영향함수와 t통계량, 변동계수

3. t통계량과 변동계수의 영향함수에 대한 성능비교

4. 결론

키워드

영향함수(influence function) t통계량(t statistic) 변동계수(coefficient of variance) 성능 비교(performance comparison) 관계(relation)