스파크에서 스칼라와 R을 이용한 머신러닝의 비교

• 영문명: Comparison of Scala and R for Machine Learning in Spark
• 발행기관: 한국전자통신학회
• 저자명: 류우석
• 간행물 정보: 『한국전자통신학회 논문지』제18권 제1호, 85~90쪽, 전체 6쪽
• 주제분류: 공학 > 전자/정보통신공학
• 파일형태: PDF
• 발행일자: 2023.02.28

국문 초록

보건의료분야 데이터 분석 방법론이 기존의 통계 중심의 연구방법에서 머신러닝을 이용한 예측 연구로 전환되고 있다. 본 연구에서는 다양한 머신러닝 도구들을 살펴보고, 보건의료분야에서 많이 사용하고 있는 통계 도구인 R을 빅데이터 머신러닝에 적용하기 위해 R과 스파크를 연계한 프로그래밍 모델들을 비교한다. 그리고, R을 스파크 환경에서 수행하는 SparkR을 이용한 선형회귀모델 학습의 성능을 스파크의 기본 언어인 스칼라를 이용한 모델과 비교한다. 실험 결과 SparkR을 이용할 때의 학습 수행 시간이 스칼라와 비교하여 10~20% 정도 증가하였다. 결과로 제시된 성능 저하를 감안한다면 기존의 통계분석 도구인 R을 그대로 활용 가능하다는 측면에서 SparkR의 분산 처리의 유용성을 확인하였다.

영문 초록

Data analysis methodology in the healthcare field is shifting from traditional statistics-oriented research methods to predictive research using machine learning. In this study, we survey various machine learning tools, and compare several programming models, which utilize R and Spark, for applying R, a statistical tool widely used in the health care field, to machine learning. In addition, we compare the performance of linear regression model using scala, which is, the basic languages of Spark, and R, As a result of the experiment, the learning execution time when using SparkR increased by 10 to 20% compared to Scala. Considering the presented performance degradation, SparkR's distributed processing was confirmed as useful in that R, as the traditional statistical analysis tool, could be used as it is.

목차

Ⅰ. 서 론

Ⅱ. 머신러닝 도구 분석

Ⅲ. SparkR과 스파크의 성능 비교

Ⅳ. 결 론

References

키워드

머신 러닝 보건 의료 스칼라 스파크R Machine Learning Healthcare Scala SparkR