하둡 분산 파일시스템에서의 유연한 노드 관리를 위한 지연된 블록 복제 기법

• 영문명: Delayed Block Replication Scheme of Hadoop Distributed File System for Flexible Management of Distributed Nodes
• 발행기관: 한국전자통신학회
• 저자명: 류우석(Woo Seok Ryu)
• 간행물 정보: 『한국전자통신학회 논문지』제12권 제2호, 367~373쪽, 전체 7쪽
• 주제분류: 공학 > 전자/정보통신공학
• 파일형태: PDF
• 발행일자: 2017.04.30

국문 초록

본 논문에서는 빅 데이터 처리를 위한 플랫폼인 하둡이 가지고 있는 분산 노드 관리 기법의 문제점을 분석하고 하둡 분산 파일시스템에서 노드 관리를 유연하게 처리하기 위한 기법을 제안한다. 기존의 방법은 클러스터에 포함된 노드가 일시적으로 연결되지 않는 경우 이를 즉시 고장으로 판정함으로 인해 클러스터를 동적으로 구성하지는 못하는 문제가 있다. 본 논문에서 제안하는 지연된 블록 복제 기법은 연결이 끊어진 노드가 추후 클러스터에 쉽게 편입될 수 있도록 노드의 제거를 최대한 지연함으로써 노드 관리의 유연성을 제공한다. 실험을 통해 제안하는 기법이 클러스터의 규모가 변화하는 환경에서 분산 처리 성능에 영향을 거의 미치지 않으면서도 노드 관리의 유연성을 증대시키는 것을 입증한다.

영문 초록

This paper discusses management problems of Hadoop distributed node, which is a platform for big data processing, and proposes a novel technique for enabling flexible node management of Hadoop Distributed File System. Hadoop cannot configure Hadoop cluster dynamically because it judges temporarily unavailable nodes as a failure. Delayed block replication scheme proposed in this paper delays the removal of unavailable node as much as possible so as to be easily rejoined. Experimental results show that the proposed scheme increases flexibility of node management with little impact on distributed processing performance when the cluster size changes.

목차

Ⅰ. 서 론

Ⅱ. HDFS의 노드 관리 메커니즘 분석

Ⅲ. 하둡 데이터노드의 상태 모델

Ⅳ. 지연된 블록 복제 기법

Ⅴ. 실험 결과

Ⅵ. 결 론

감사의 글

References

키워드

Hadoop HDFS Block Replication Fault Tolerance 하둡 하둡 분산 파일 시스템 블록 복제 장애 처리