빅데이터

Big Data

기존의 데이터 처리 능력을 넘어서는 대량의 데이터, 또는 그 데이터를 분석하고 가치를 창출하는 기술

빅데이터의 특징(3V+α)

• 가트너에서 제시한 3가지 특징

특징	설명
규모(Volume)	처리하는 데이터의 양이 기존 데이터베이스에 비해 거대
속도(Velocity)	데이터 입출력 속도가 기존 데이터베이스에 비해 초고속
다양성(Variety)	비정형 데이터, 다크 데이터 등 다양한 종류의 데이터

• IBM 등에서 제시한 개념이 추가됨

특징	설명
신뢰성(Veracity)	대용량의 데이터를 빠르게 처리하는 과정에서 품질 유지
가치(Value)	대량의 데이터를 모으고 빠르게 처리하여 새로운 가치 창출
타당성(Validity)	기존에 다룰 수 없었던 대용량 데이터로부터의 정확한 분석·예측
휘발성(Volatility)	데이터 처리 결과가 유효한 의미를 가질 수 있는 기간 내 처리

• 그 외 가변성(Variability), 시각화(Visualization) 등이 사용되기도 함

빅데이터 처리 기술

분석 기술

• 병렬 데이터베이스
  • Divide and Conquer 방식을 이용하여 대량 데이터를 분산 및 병렬 처리
  • 기법/도구: 하둡, 스파크, 하이브
• 데이터 마이닝
  • 텍스트 마이닝, 군집분석, 연관분석 등 대량의 데이터에서 가치를 찾는 정보 도출
  • 기법/도구: 머신러닝, 의사결정나무

표현 기술

• NoSQL
  • 대량의 반정형 데이터에 대한 유연한 조회, 갱신 처리 지원
  • 기법/도구: 몽고DB, 카우치베이스
• R
  • 분석된 빅데이터를 대상으로 데이터의 의미를 시각화해주는 프로그래밍 언어

3V·4V·5V

교재와 기관마다 V 를 몇 개 붙이는지가 다르지만, 앞의 세 가지는 공통이다.

구분	구성
3V	규모(Volume), 다양성(Variety), 속도(Velocity)
4V	3V + 가치(Value)
5V	3V + 가치(Value) + 신뢰성(Veracity)

• ADsP 「데이터 분석 전문가 가이드」는 3V 에 가치(Value) 를 더해 4V 로 설명한다. 교재에 따라 4V 의 네 번째를 신뢰성(Veracity)으로 드는 경우도 있다.
• Volume, Variety, Velocity 는 이미 3V 에 들어 있으므로 "3V 에 추가된 것" 이 될 수 없다.

빅데이터 활용의 3요소

요소	내용
데이터	모든 것을 데이터화(datafication)한다
기술	진화하는 알고리즘, 인공지능
인력	데이터 사이언티스트, 알고리즈미스트

• 빅데이터 활용의 3요소는 데이터·기술·인력이다. 인프라나 프로세스는 3요소에 들지 않는다.

빅데이터의 발전 요인

• 비정형 데이터의 폭증: SNS, 스마트폰, 센서(사물인터넷)에서 글·사진·영상·로그 같은 비정형 데이터가 쏟아졌다.
• 분산처리 기술의 발전: 하둡, 맵리듀스처럼 값싼 서버 여러 대로 대량 데이터를 나누어 처리하는 기술이 나왔다.
• 클라우드 컴퓨팅의 발전: 저장·처리 자원을 필요한 만큼 빌려 쓸 수 있게 되었다.
• 저장 장치 가격 하락: 많은 데이터를 버리지 않고 쌓아 둘 수 있게 되었다.

빅데이터를 키운 것은 정형 데이터가 아니라 비정형 데이터의 증가이다. "정형 데이터의 폭증" 은 발전 요인으로 틀리다.

같이 보기

• 데이터베이스