학술논문
스파크를 이용한 머신러닝의 분산 처리 성능 요인
이용수 94
- 영문명
- Performance Factor of Distributed Processing of Machine Learning using Spark
- 발행기관
- 한국전자통신학회
- 저자명
- 류우석(Woo-Seok Ryu)
- 간행물 정보
- 『한국전자통신학회 논문지』제16권 제1호, 19~24쪽, 전체 6쪽
- 주제분류
- 공학 > 전자/정보통신공학
- 파일형태
- 발행일자
- 2021.02.28
4,000원
구매일시로부터 72시간 이내에 다운로드 가능합니다.
이 학술논문 정보는 (주)교보문고와 각 발행기관 사이에 저작물 이용 계약이 체결된 것으로, 교보문고를 통해 제공되고 있습니다.
국문 초록
본 논문에서는 아파치 스파크를 이용하여 머신러닝을 분산 처리할 때의 성능 요인을 분석하고 효율적인 분산 처리를 위한 실행 환경을 실험을 통해 제시한다. 먼저, 분산 클러스터 환경에서 머신러닝을 수행할 때 고려 해야 하는 성능 요인으로 클러스터의 성능, 데이터의 규모, 스파크 엔진의 속성으로 구분하여 분석한다. 그리고 하둡 클러스터에서 동작하는 스파크 MLlib을 이용하여 회귀분석을 수행할 때 노드의 구성과 스파크 Executor의 설정을 변화하면서 성능을 측정한다. 실험 결과 최적의 Executor 개수는 데이터의 블록의 수에 영향을 받으나 클러스터 규모에 따라 최대값, 최소값은 각각 코어의 수, 워커 노드의 수로 제한됨을 실증하였다.
영문 초록
In this paper, we study performance factor of machine learning in the distributed environment using Apache Spark and presents an efficient distributed processing method through experiments. This work firstly presents performance factor when performing machine learning in a distributed cluster by classifying cluster performance, data size, and configuration of spark engine. In addition, performance study of regression analysis using Spark MLlib running on the Hadoop cluster is performed while changing the configuration of the node and the Spark Executor. As a result of the experiment, it was confirmed that the effective number of executors was affected by the number of data blocks, but depending on the cluster size, the maximum and minimum values were limited by the number of cores and the number of worker nodes, respectively.
목차
Ⅰ. 서 론
Ⅱ. 아파치 스파크
Ⅲ. 스파크의 분산 성능 요인
Ⅳ. 성능 평가
Ⅴ. 결 론
감사의 글
References
저자 소개
해당간행물 수록 논문
- 선형엑츄에이터를 이용한 실내 공기질 개선 시스템에 대한 연구
- 실내 환경의 공간 색온도 검출을 위한 이미지센서 모듈
- 융합 인덱싱 방법에 의한 조인 쿼리 성능 최적화
- 성별에 따른 과학기술분야 국가 R&D 연구성과 분석
- OneNet 클라우드 컴퓨팅 기반 실시간 홈 보안 시스템
- 음악적 자극에 의한 뇌 활성도의 통계적 해석
- 복합에너지시스템의 성능개선에 관한 연구
- 5단계 시나리오에 기반한 VLAN이 적용된 네트워크 구현 및 검증 사례연구
- 열차용 복합 항법 시스템 신뢰성 검증을 위한실 궤적 기반 시뮬레이터 개발
- 오일러 방법으로 원격 측정된 유체운동의 속도 산출과 정확도 평가
- 3상 6펄스 PWM 정류기의 D-Q 제어 기반 출력전압 제어 알고리즘 및 EMTP-RV 시뮬레이션 연구
- 잠재요인 모델 기반 영화 추천 시스템
- 적외선과 초음파 센서로 측정한 순천만 이산화탄소 변동
- 혼합 배열 안테나 기반의 적응 빔형성 시스템
- 컴퓨터 비전을 이용한 이미지 기반 아이 키 측정 애플리케이션 개발
- 저해상도 영상 자료를 사용하는 얼굴 표정 인식을 위한 소규모 심층 합성곱 신경망 모델 설계
- 내부구조와 전파 입사각에 따른 원전용 디지털 모듈 보관 캐비닛의 차폐효과 분석
- 터렛 서보 시스템에서 멀티-턴 검출이 가능한 센서리스 위치제어기 구현
- 기계학습을 활용한 얼굴 인식 및 체온 측정 출입관리 시스템
- 메타강화학습을 이용한 수중로봇 매니퓰레이터 제어
- 음성인식을 이용한 자막 자동생성 시스템
- 안전사고방지를 위한 다목적 결속형 교육용 드론
- MCU와 나선형 코일을 이용한 촛점식 체외 충격파 전립선 치료 장치에 관한 연구
- 대역폭 증가 기법을 사용한 저전력 전압 제어 발진기
- 배전용 특고압 케이블 접속재의 다변수 측정 분석 연구
- 스파크를 이용한 머신러닝의 분산 처리 성능 요인
- 인공지능 기반 유해조류 탐지 관제 시스템
참고문헌
교보eBook 첫 방문을 환영 합니다!
신규가입 혜택 지급이 완료 되었습니다.
바로 사용 가능한 교보e캐시 1,000원 (유효기간 7일)
지금 바로 교보eBook의 다양한 콘텐츠를 이용해 보세요!