Abyss Storage Cluster 기반의 DataLake Framework의 설계

• 영문명: Draft Design of DataLake Framework based on Abyss Storage Cluster
• 발행기관: 한국스마트미디어학회
• 저자명: 차병래(ByungRae Cha) 박선(Sun Park,) 신병춘(Byeong-Chun Shin) 김종원(JongWon Kim)
• 간행물 정보: 『스마트미디어저널』Vol7, No.1, 1~15쪽, 전체 15쪽
• 주제분류: 공학 > 컴퓨터학
• 파일형태: PDF
• 발행일자: 2018.03.30

국문 초록

기관 또는 조직은 비즈니스 시스템의 규모가 커지면서 이들과 관련된 서로 다른 시스템에서 다양한 대량의 데이터들이 생성 되고 있다. 이와 같이 비즈니스 환경에서 서로 다른 시스템에서 데이터를 보다 스마트하게 처리하여 효율성을 높일 수 있는 방법이 필요하다. 이를 위한 가장 기본적인 접근 방법 중 하나는 DataLake와 같이 데이터를 정확하게 설명하고 전체 비즈니스에 대한 가장 중요한 데이터를 나타낼 수 있는 단일 도메인 모델을 만드는 것이다. DataLake의 장점을 구현하기 위해서는 다양 하게 요구되어진 기능들을 어떤 구조로, 어떻게 작동 할 것인지에 대한 DataLake의 구성 요소들을 정의하는 게 중요하며, DataLake의 구성 요소들에 의해서 데이터 흐름에 따른 라이프 사이클을 갖게 된다. 또한 데이터 획득 시점에서 DataLake로 유입되는 동안 메타 데이터는 데이터 추적 가능성, 데이터 계보 및 라이프 사이클 전반의 데이터 민감도에 기반 한 보안 측면과 함께 캡처 및 관리되어야 하며, 이러한 이유로 Abyss Storage Cluster 기반의 DataLake Framework를 설계하였다.

영문 초록

As an organization or organization grows in size, many different types of data are being generated in different systems. There is a need for a way to improve efficiency by processing data smarter in different systems. Just like DataLake, we are creating a single domain model that accurately describes the data and can represent the most important data for the entire business. In order to realize the benefits of a DataLake, it is import to know how a DataLake may be expected to work and what components architecturally may help to build a fully functional DataLake. DataLake components have a life cycle according to the data flow. And while th data flows into a DataLake from the point of acquisition, its meta-data is captured and managed along with data traceability, data lineage, and security aspects based on data sensitivity across its life cycle. According to this reason, we have designed the DataLake Framework based on Abyss Storage Cluster.

목차

Ⅰ. 서 론

Ⅱ. 관련 연구

Ⅲ. Abyss Storage Cluster 기반의 DataLake Framework의 설계

Ⅳ. Abyss Storage Cluster 기반 DataLake Framework의 Cloud Spanning의 가능성 검증

Ⅴ. 결 론

키워드

데이터레이크 프레임워크 DataLake Framework Abyss Storage Cluster