HDFS의 스몰 파일 관리 기술 동향

• 영문명: Trend of Small File Management Technologies of HDFS
• 발행기관: 한국IT서비스학회
• 저자명: 심아름(Sim,A-Reum) 박희정(Park,Hee-Jung) 윤희용(Youn,Hee-Yong)
• 간행물 정보: 『한국IT서비스학회 학술대회 논문집』2014추계학술대회, 180~183쪽, 전체 4쪽
• 주제분류: 공학 > 전자/정보통신공학
• 파일형태: PDF
• 발행일자: 2014.11.05

국문 초록

HDFS(Hadoop Distribute File System)는 오픈소스 프레임워크로 대표적인 빅 데이터 처리 분산 응용 프로그램이다. 대용량 데이터를 처리에 최적화되어 스몰 파일에 적용했을 때 높은 자원 소비효율과 낮은 성능을 보인다. 본 논문에서는 이러한 비효율성을 해결하기 위한 기법을 제시한다. 첫 번째로 HDFS와 독립적으로 작동하는 엔진을 통해 스몰 파일을 합 병하는 방법이다. HDFS 내부의 메모리 사용량을 줄임으로써 스몰 파일을 처리할 때 효율성이 증가한다. 두 번째로 구조화된 인덱스 파일 합병기법이다. 효율적인 접근과 파일 처리를 통해 응답 시간을 단축하고 메모리 사용이 감소한다. 제시된 기법을 통해 HDFS가 대용량 데이터뿐 아니라 스몰 데이터를 분산 저장 및 처리하는데 있어서 공간의 이용이 효과적 으로 이루어 질 것을 기대한다.

목차

1. 서론

2. 본론

3. 결론