빅데이터

Big Data

기존 데이터베이스 관리도구의 능력을 넘어서는 대량 데이터 또는 비정형의 데이터를 분석하고 가치를 창출하는 기술

빅데이터의 특징(3V+α)

• 가트너에서 제시한 3가지 특징

특징	설명
양(Volume)	처리하는 데이터의 양이 기존의 데이터베이스에 비해 거대
속도(Velocity)	데이터 입출력 속도가 기존 데이터베이스에 비해 초고속
다양성(Variety)	비정형 데이터까지 다루면서 처리하는 데이터량 대폭 증가

• IBM 등에서 제시한 개념이 추가됨

특징	설명
정확성(Veracity)	처리하는 데이터의 양이 기존의 데이터베이스에 비해 거대
가변성(Variability)	데이터 입출력 속도가 기존 데이터베이스에 비해 초고속
시각화(Visualization)	비정형 데이터까지 다루면서 처리하는 데이터량 대폭 증가

빅데이터 처리 기술

분석 기술

• 병렬 데이터베이스
  • Divide and Conquer 방식을 이용하여 대량 데이터를 분산 및 병렬 처리
  • 기법/도구: 하둡, 스파크, 하이브
• 데이터 마이닝
  • 텍스트 마이닝, 군집분석, 연관분석 등 대량의 데이터에서 가치를 찾는 정보 도출
  • 기법/도구: 머신러닝, 의사결정나무

표현 기술

• NoSQL
  • 대량의 반정형 데이터에 대한 유연한 조회, 갱신 처리 지원
  • 기법/도구: 몽고DB, 카우치베이스
• R
  • 분석된 빅데이터를 대상으로 데이터의 의미를 시각화해주는 프로그래밍 언어

같이 보기

• 데이터베이스