학술논문
QR분해를 사용한 RHadoop의 맵리듀스 기반 다중선형회귀모형 추정 알고리즘
이용수 23
- 영문명
- RHadoop-based Algorithm Utilizing QR Factorization for Multiple Linear Regression Analysis
- 발행기관
- 한국자료분석학회
- 저자명
- 강민수(Minsu Kang) 조상훈(Sang-Hoon Cho)
- 간행물 정보
- 『Journal of The Korean Data Analysis Society (JKDAS)』Vol.25 No.1, 99~113쪽, 전체 15쪽
- 주제분류
- 자연과학 > 통계학
- 파일형태
- 발행일자
- 2023.02.28
4,600원
구매일시로부터 72시간 이내에 다운로드 가능합니다.
이 학술논문 정보는 (주)교보문고와 각 발행기관 사이에 저작물 이용 계약이 체결된 것으로, 교보문고를 통해 제공되고 있습니다.
국문 초록
하둡은 대용량 자료의 분산 저장 및 병렬 처리 작업을 지원하는 자바 기반 오픈 소스 소프트웨어 플랫폼이다. RHadoop은 R 프로그래밍 환경에서 하둡의 핵심 프로젝트인 HDFS와 맵리듀스에 접속할 수 있는 인터페이스를 제공하여 R 사용자들에게 대용량 자료 분석에 효율적인 분산컴퓨팅 환경을 지원한다. 본고에서는 변수의 수에 비해 자료의 수가 훨씬 더 많은 대용량 자료에 QR분해를 사용하여 다중선형회귀모형을 추정하는데 사용할 수 있는 RHadoop 기반 맵리듀스프로그래밍 모델을 제안한다. 본 연구에서 제안하는 알고리즘은 Benson, Gleich, Demmel(2013)이 제안한 DirectQR 방법을 활용하되 대용량 자료를 사용하여 반복 연산하는 과정 없이 맵리듀스단일 과정을 통해 모형을 추정하며, 컴바인 단계를 통해 맵 단계의 중간 결과물을 취합하여 네트워크를 통해 리듀스 단계로 전송할 중간 결과물의 양을 축소시킨다. 본 연구에서 제안하는 알고리즘의 성능을 측정하기 위해 이전 연구를 통해 제안된 알고리즘과 비교 평가하는 모의실험을 수행한다. 실제 자료와 유사한 모의자료를 생성하기 위해 뉴욕 도시 택시·리무진 위원회에 보고되는 뉴욕 엘로우 택시 운행 자료를 활용하며, 변수 간의 상관관계 및 오차항에 대한 여러 가정하에서 각 알고리즘의 모수 추정 속도와 정확도를 평가한다.
영문 초록
RHadoop enables R users to perform big data analytics under R programming environment by integrating R with Hadoop that supports distributed storing and parallel processing of large-scaled data. This article proposes a RHadoop-based MapReduce programming model for estimating multiple linear regression models utilizing QR factorization. Our proposed algorithm accommodates the most common type of big data that has a vast number of data points with only a few hundred variables. For QR factorization over massive-scaled data, our algorithm employs DirectQR method proposed by Benson, Gleich, Demmel(2013); however, it does not necessitate its iterative steps to estimate regression coefficients. Through a comparative simulation study, our algorithm is compared with a MapReduce-based algorithm proposed in the previous studies. For generating realistic synthetic data, we utilize NYC(New York City) yellow taxi trip data reported to NYC Taxi and Limousine Commission. In the simulation, we measure estimation time and accuracy of each algorithm under several assumptions with respect to the strength of association between independent variables and the noise level of error terms in the regression models.
목차
1. 서론
2. RHadoop의 맵리듀스 프레임워크에 대한 소개
3. QR분해(QR factorization)와 다중선형회귀모형의 추정
4. MM-QR 알고리즘과 QR-QR 알고리즘
5. 모의실험
6. 결론
References
해당간행물 수록 논문
- 사회체육 참가자들의 신체적 자아개념과 자기관리가 만족도와 활동 후 행동에 미치는 영향
- 소득분위별 노동소득의 연령 효과 추정
- 연속형 분포의 표본 분위수 계산 방법에 관한 고찰
- 코로나19 상황에서 간호대학생의 대인관계능력, 전공만족도, 회복탄력성이 대학생활적응에 미치는 영향
- 보험산업의 분기손익 조정에 관한 연구
- 결정계수를 이용한 선형혼합모형의 선택
- 토픽모델링을 활용한 쟁점 분석
- 한일 드라마로 보는 국가간 색감의 문화 차이
- 스쿠버다이버의 라이프스타일에 따른 선택속성이 만족도 및 행동의도에 미치는 영향
- 생명보험 수요요인들의 인과성 변화
- 독립변수의 로그 변환에서 영(0) 값의 처리 방법
- 투자주의 환기종목 지정제도에 대한 연구
- The visual attentional pattern toward smoking area signs in legal and illegal cigarette smokers: Preliminary findings
- QR분해를 사용한 RHadoop의 맵리듀스 기반 다중선형회귀모형 추정 알고리즘
- 기업규모에 따른 프리젠티즘에 대한 연구
- 학습경로 생성을 위한 잠재된 학습 콘셉트의 선후관계 분석
- Motivation to Lead and Shared Leadership in Teams
- 더블링 기법을 활용한 대응분석에 대한 민감도분석
- Journal of The Korean Data Analysis Society (JKDAS) Vol.25 No.1 목차
- 항만 개발과 운영이 미치는 사회적 영향에 관한 연구
- 주가지수의 시간 가변적 샤프-최적 포트폴리오와 포트폴리오 성과 평가지표
- 오류 라벨을 포함한 분류모형의 강건성 모의실험연구
- 한국 탄소배출권 시장의 효율성 분석
- The Causality between Economic Sanctions and Militarized Conflict: A Global Level Analysis, 1945-2014
- MARS와 PAM을 활용한 순항 단계 고도 이탈 이상치 탐지
- 사이버 언어폭력 피해 척도 개발 및 타당화 연구
- 범주형 전환문항을 포함하는 항목 무응답 대체 방법 비교
- 간호대학생을 위한 실습생 권리에 대한 교육요구도 분석
- 게임의 내부 요소가 동기에 미치는 영향
- 부분공간 정렬을 통한 비지도 도메인 적응 분류 모형 비교 분석
- A Research on ESG Commitment and Corporate Performance
- 기계 번역과 자연어처리를 활용한 튜터링 활동 분석
- 머신러닝모형을 이용한 글로벌 자동차 기업의 주가 예측 비교
- 신재생발전량 확대에 대한 실증분석
참고문헌
교보eBook 첫 방문을 환영 합니다!
신규가입 혜택 지급이 완료 되었습니다.
바로 사용 가능한 교보e캐시 1,000원 (유효기간 7일)
지금 바로 교보eBook의 다양한 콘텐츠를 이용해 보세요!