빅데이터 편집하기

IT위키

경고: 로그인하지 않았습니다. 편집을 하면 IP 주소가 공개되게 됩니다. 로그인하거나 계정을 생성하면 편집자가 사용자 이름으로 기록되고, 다른 장점도 있습니다.

편집을 취소할 수 있습니다. 이 편집을 되돌리려면 아래의 바뀐 내용을 확인한 후 게시해주세요.

최신판 당신의 편집
1번째 줄: 1번째 줄:
[[분류:데이터 과학]]
[[분류:데이터 분석]][[분류:데이터베이스]]
[[분류:데이터베이스]]
 
;Big Data
;Big Data
;기존의 데이터 처리 능력을 넘어서는 대량의 데이터, 또는 데이터를 분석하고 가치를 창출하는 기술
;기존 데이터베이스 관리도구의 능력을 넘어서는 대량 데이터 또는 비정형의 데이터를 분석하고 가치를 창출하는 기술
 
==빅데이터의 특징(3V+α)==
 
*가트너에서 제시한 3가지 특징


== 빅데이터의 특징(3V+α) ==
* 가트너에서 제시한 3가지 특징
{| class="wikitable"
{| class="wikitable"
|-
|-
!특징!!설명
! 특징 !! 설명
|-
|-
|규모(Volume)||처리하는 데이터의 양이 기존 데이터베이스에 비해 거대
| (Volume) || 처리하는 데이터의 양이 기존의 데이터베이스에 비해 거대
|-
|-
|속도(Velocity)||데이터 입출력 속도가 기존 데이터베이스에 비해 초고속
| 속도(Velocity) || 데이터 입출력 속도가 기존 데이터베이스에 비해 초고속
|-
|-
|다양성(Variety)||[[비정형 데이터]], [[다크 데이터]] 등 다양한 종류의 데이터
| 다양성(Variety) || 비정형 데이터까지 다루면서 처리하는 데이터량 대폭 증가
|}
|}
 
* IBM 등에서 제시한 개념이 추가됨
*IBM 등에서 제시한 개념이 추가됨
 
{| class="wikitable"
{| class="wikitable"
|-
|-
!특징!!설명
! 특징 !! 설명
|-
|신뢰성(Veracity)||대용량의 데이터를 빠르게 처리하는 과정에서 품질 유지
|-
|-
|가치(Value)||대량의 데이터를 모으고 빠르게 처리하여 새로운 가치 창출
| 정확성(Veracity) || 처리하는 데이터의 양이 기존의 데이터베이스에 비해 거대
|-
|-
|타당성(Validity)
| 가변성(Variability) || 데이터 입출력 속도가 기존 데이터베이스에 비해 초고속
|기존에 다룰 수 없었던 대용량 데이터로부터의 정확한 분석·예측
|-
|-
|휘발성(Volatility)
| 시각화(Visualization) || 비정형 데이터까지 다루면서 처리하는 데이터량 대폭 증가
|데이터 처리 결과가 유효한 의미를 가질 수 있는 기간 내 처리
|}
|}


*그 외 가변성(Variability), 시각화(Visualization) 등이 사용되기도 함
== 같이 보기 ==
 
* [[데이터베이스]]
==빅데이터 처리 기술==
===분석 기술===
 
*병렬 데이터베이스
**Divide and Conquer 방식을 이용하여 대량 데이터를 분산 및 병렬 처리
**기법/도구: [[하둡]], [[스파크]], [[하이브]]
*[[데이터 마이닝]]
**[[텍스트 마이닝]], [[군집분석]], [[연관분석]] 등 대량의 데이터에서 가치를 찾는 정보 도출
**기법/도구: [[머신러닝]], [[의사결정나무]]
 
===표현 기술===
 
*[[NoSQL]]
**대량의 반정형 데이터에 대한 유연한 조회, 갱신 처리 지원
**기법/도구: [[몽고DB]], [[카우치베이스]]
*[[R]]
**분석된 빅데이터를 대상으로 데이터의 의미를 시각화해주는 프로그래밍 언어
 
==같이 보기==
 
*[[데이터베이스]]
IT위키에서의 모든 기여는 크리에이티브 커먼즈 저작자표시-비영리-동일조건변경허락 라이선스로 배포된다는 점을 유의해 주세요(자세한 내용에 대해서는 IT위키:저작권 문서를 읽어주세요). 만약 여기에 동의하지 않는다면 문서를 저장하지 말아 주세요.
또한, 직접 작성했거나 퍼블릭 도메인과 같은 자유 문서에서 가져왔다는 것을 보증해야 합니다. 저작권이 있는 내용을 허가 없이 저장하지 마세요!
취소 편집 도움말 (새 창에서 열림)