논리적 데이터 웨어하우스

Logical Data Warehouse; LDW; 로지컬 데이터 웨어하우스

전사적인 데이터 통합과 정보 분석을 위해 기존의 데이터 웨어하우스와 데이터 마트, 데이터 레이크 등의 레파지토리와 빅데이터 핵심 기술인 하둡을 통합해 논리적으로 구성한 데이터 아키텍처

• 가트너에서 제시한 개념
• 기존의 EDW를 포함하는 상위 개념
• HDW(Hybrid Data Warehouse), HIA(Hybrid Information Architecture) 등으로도 불림

LDW 등장 배경

• 스마트 환경의 도래로 개인들이 생산하는 소셜 정보, 음성, 영상, 이미지 데이터의 폭증
• 다양한 내·외부 IoT 데이터를 연계하여 분석할 필요성 대두
• 운영 시스템의 기능이 복잡해지고, 활용이 증가함에 따라 IT시스템으로부터 생성되는 데이터 급증
• 비용 문제로 기존에 저장하지 못했던 대량의 로그 데이터 등을 저렴하게 저장할 수 있게 됨으로써 이에 대한 활용 요구 증가
• OSS의 성숙도가 향상되고, 분산 병렬 처리를 지원하는 다양한 도구들이 출시되면서 손쉽게 대용량 처리를 할 수 있는 기반이 갖추어 짐

LDW 특징

• 비용 절감: DBMS에 저장하기에 비용이 과다한 데이터들은 하둡을 이용하여 상대적으로 저렴하게 관리
• 분석의 적시성 확보: 대용량 데이터의 신속한 분산 병렬 처리를 통한 장시간 소요되던 배치 작업 시간을 단축
• 데이터 효용성 증대: 데이터 웨어하우스에서 관리되는 고품질의 정형 데이터들과 비정형 데이터를 결합하여 분석
• 유연한 인프라 구성: 스케일 아웃을 통한 선형적인 성능 향상이 가능한 하둡을 활용

기존 DW와의 비교

구분	데이터 웨어하우스	논리적 데이터 웨어하우스
목적	구성원 분석 역량 강화 전사 통합 분석 관점 확보	정형 및 비정형 통합 분석 고급 분석 기반 예측 경영
데이터 활용	비즈니스 간 연계분석과 원인분석 전사 차원의 마스터 데이터 관리 데이터 품질 확보를 위한 관리 체계	전문 통계 분석 기반 예측 모형 비정형, 대규모 등 데이터 범위 확대 AI분석, EDA 등을 위한 데이터 제공
사용자	전 임직원 파워 사용자 중심의 비정형 분석	데이터 과학자 분석 과제별로 전문 조직의 출현
기술	BI 및 Analytics MPP기반 DW 애플리케이션 데이터 품질 관리(DQM) Metadata 관리 도구	하둡 기반의 빅데이터 처리 기술 머신러닝, 딥 러닝 등 인공지능 실시간 지능형 관제 데이터 마이닝, 소셜 네트워크 마이닝

LDW의 구성요소

• 레파지토리 관리: 기존의 DB, 데이터 웨어하우스, 데이터 마트, 데이터 레이크 등을 통합 관리
• 데이터 가상화: 원천 데이터의 위치, 구조 등에 상관없이 가상의 Single View형태로 제공하는 기술
• 분산 처리: 하둡을 기반으로 통합된 대량 데이터 분석
• 메타데이터 관리: 다양한 데이터 레파지토리 상의 수많은 데이터를 관리하기 위한 메타데이터 관리
• 온톨로지: 연관된 데이터들을 결합해서 분석하기 위해 필요한 데이터 간 연관 정보, 데이터 집합에 대한 분류 체계
• 감사 및 성능 관리: 데이터 원천으로 부터 추출하여 최종 목적인 분석까지 하기 위한 과정 분석 및 성능 개선
• SLA & SLM: 실제 사용자들의 업무 만족도, 효율성을 기반으로 서비스 수준 유지 및 개선

기술사 기출

• 정보관리기술사 121회 2교시

같이 보기

• 데이터 웨어하우스
• 기업 데이터 웨어하우스
• 논리적 데이터 웨어하우스

참고 문헌

• LG CNS 기술 블로그