빅데이터의 정규화 전처리과정이 기계학습의 성능에 미치는 영향

• 영문명: Effectiveness of Normalization Pre-Processing of Big Data to the Machine Learning Performance
• 발행기관: 한국전자통신학회
• 저자명: 조준모(Jun-Mo Jo)
• 간행물 정보: 『한국전자통신학회 논문지』제14권 제3호, 547~552쪽, 전체 6쪽
• 주제분류: 공학 > 전자/정보통신공학
• 파일형태: PDF
• 발행일자: 2019.06.30

국문 초록

최근, 빅데이터 분야에서는 빅 데이터의 양적 팽창이 주요 이슈로 떠오르고 있다. 더군다나 이러한 빅데이 터는 기계학습의 입력값으로 사용되어지고 있으며 이들의 성능을 향상시키기 위해 정규화 전처리가 필요하다. 이러한 성능은 빅데이터 컬럼의 범위나 정규화 전처리 방식에 따라 크게 좌우된다. 본 논문에서는 다양한 종류의 정규화 전처리 방식과 빅데이터 컬럼의 범위를 조절하면서 서포트벡터머신(SVM)의 기계학습방식에 적용함으로써 더욱 효과적인 정규화 전처리 방식을 파악하고자 하였다. 이를 위하여 파이썬언어와 주피터 노트북 환경에서 기계학습을 수행하고 분석하였다.

영문 초록

Recently, the massive growth in the scale of data has been observed as a major issue in the Big Data. Furthermore, the Big Data should be preprocessed for normalization to get a high performance of the Machine learning since the Big Data is also an input of Machine Learning. The performance varies by many factors such as the scope of the columns in a Big Data or the methods of normalization preprocessing. In this paper, the various types of normalization preprocessing methods and the scopes of the Big Data columns will be applied to the SVM(: Support Vector Machine) as a Machine Learning method to get the efficient environment for the normalization preprocessing. The Machine Learning experiment has been programmed in Python and the Jupyter Notebook.

목차

Ⅰ. Introduction

Ⅱ. Normalization Methods

Ⅲ. Selecting Columns for Normalization

IV. Result and Analysis

V. Conclusion

키워드

AI Machine Learning BigData Preprocessing Performance Evaluation 인공 지능 기계 학습 빅 데이터 전처리 성능 평가