학술논문
SparkR을 이용한 R 기반 빅데이터 분석의 분산 처리
이용수 62
- 영문명
- Distributed Processing of Big Data Analysis based on R using SparkR
- 발행기관
- 한국전자통신학회
- 저자명
- 류우석(Woo-Seok Ryu)
- 간행물 정보
- 『한국전자통신학회 논문지』제17권 제1호, 161~165쪽, 전체 5쪽
- 주제분류
- 공학 > 전자/정보통신공학
- 파일형태
- 발행일자
- 2022.02.28
4,000원
구매일시로부터 72시간 이내에 다운로드 가능합니다.
이 학술논문 정보는 (주)교보문고와 각 발행기관 사이에 저작물 이용 계약이 체결된 것으로, 교보문고를 통해 제공되고 있습니다.
국문 초록
본 논문에서는 데이터 분석 도구인 R을 이용하여 빅데이터 분석을 수행할 때 발생하는 문제점을 분석하고, 빅데이터의 분산 처리를 효과적으로 지원하는 스파크와 R을 연계한 SparkR을 이용한 분석의 유용성을 제시하고자 한다. 먼저, 대량의 데이터를 로딩하고 연산을 수행할 때 발생하는 R의 메모리 할당 문제점과 R과 비교한 SparkR의 특징 및 프로그래밍 환경을 분석한다. 그리고, 선형 회귀 분석을 각각의 환경에서 수행할 때의 실행 성능을 비교 분석한다. 분석 결과 SparkR을 통해 추가적인 언어 학습 없이도 R을 그대로 이용하여 데이터 분석에 활용할 수 있음을 보였으며, SparkR을 이용하여 R로 작성된 코드를 클러스터 내 노드 수의 증가에 따라 효과적으로 분산 처리할 수 있었다.
영문 초록
In this paper, we analyze the problems that occur when performing the big data analysis using R as a data analysis tool, and present the usefulness of the data analysis with SparkR which connects R and Spark to support distributed processing of big data effectively. First, we study the memory allocation problem of R which occurs when loading large amounts of data and performing operations, and the characteristics and programming environment of SparkR. And then, we perform the comparison analysis of the execution performance when linear regression analysis is performed in each environment. As a result of the analysis, it was shown that R can be used for data analysis through SparkR without additional language learning, and the code written in R can be effectively processed distributedly according to the increase in the number of nodes in the cluster.
목차
Ⅰ. 서론
Ⅱ. R과 SparkR의 비교
Ⅲ. 실행 성능 비교
Ⅳ. 결론
References
키워드
해당간행물 수록 논문
- 라즈베리파이를 이용한 자율물류 운반 시스템 개발
- PID 제어 및 HSV를 활용한 인명 수색용 쿼드콥터에 관한 연구
- 자동 레벨 컨트롤 적재물 운반 시스템의 구현
- 물류 수송을 위한 인터모달용 자동운송 대차의 주행정보 시스템 구축에 관한 연구
- AHP를 이용한 실시간 전력품질 평가기법
- 빅데이터 기반 스마트 항만 운용시스템
- 정전류 구동에서 LED 고장 보상 회로 설계
- 다중 슬라이딩 표면 제어 기법에 기반한 쿼드로터의 능동 결함 허용 제어
- 정보보안 심리적 권한이 업무 스트레스를 통해 정책 저항 완화에 미치는 영향
- 다중센서 양변기에 관한 연구
- 한국전자통신학회 논문지 제17권 제1호 목차
- 블록체인을 활용한 디지털 콘텐츠 저작권 관리 및 검증 플랫폼 연구
- 객체 감지 데이터 셋 기반 인체 자세 인식시스템 연구
- 오픈소스 하드웨어와 딥러닝 기반 객체 탐지 알고리즘을 활용한 교내 유동인구 분석
- 소규모 합성곱 신경망을 사용한 연령 및 성별 분류
- 능동위상배열안테11나의 급전신호 오차 추정에 관한 연구
- 통합 베이즈 총변이 정규화 방법과 영상복원에 대한 응용
- RC카를 이용한 자율주행 기초 기술 연구
- 교통 신호 인식을 위한 경량 잔류층 기반 컨볼루션 신경망
- 수중 위치측정을 위한 인공지능 컴퓨팅 플랫폼 설계
- 전력선 용량증대를 위한 해저케이블 설계
- 단일 비트플립 오류정정 기능을 갖는 증강된 Quantum Short-Block Code
- 28 GHz 대역에서 동작하는 이중 선형편파 안테나의 설계 및 제작
- 효율적인 4-2 Compressor와 보상 특성을 갖는 근사 곱셈기
- 대전자전 중계기용 성능 입증 장치의 설계 및 구현에 대한 연구
- 물류의 효율적 관리를 위한 자동화 시뮬레이션 시스템 설계
- SparkR을 이용한 R 기반 빅데이터 분석의 분산 처리
- 가중치를 갖는 그래프신호를 위한 샘플링 집합 선택 알고리즘
참고문헌
교보eBook 첫 방문을 환영 합니다!
신규가입 혜택 지급이 완료 되었습니다.
바로 사용 가능한 교보e캐시 1,000원 (유효기간 7일)
지금 바로 교보eBook의 다양한 콘텐츠를 이용해 보세요!