빅데이터 - 1

■ 이론

 

□ 빅데이터 속성(특징) 3요소(3V) --> 5요소(5V)

 

3V는 by Gartner(미국의 it 자문회사) 정의됨
4,5V는 by IBM

 

1) Volume(크기)

- 말 그대로 빅데이터 (이전 방식으로의 처리로는 안되는 데이터 양)
- 지금은 전세계 data양이 zb 시대
- 확장 가능한 방식으로 데이터를 저장하고 분석하는 분산 컴퓨팅 기법으로 접근.

# 바이트 크기
1byte = 8bit
1kb = 1024byte = 2^10byte
1mb = 1024kb = 2^20
1gb = 1024mb = 2^30
1tb(terabyte) = 1024gb = 2^40
1pb(petabyte) = 1024tb = 2^50
1eb(exabyte) = 1024pb =2^60
1zb(zetabyte) = 1024eb = 2^70
1yb(yottabyte) = 1024zb = 2^80

 

2) Velocity (속도)

- 일반형태의 처리는 물론 데이터의 생산, 저장, 유통, 수집, 분석이
실시간으로 처리 또한 통계학을 적용한 데이터 마이닝 등 장기적인 접근 처리

 

3) Variety(다양성)

- 다양한 종류의 데이터

(1) 정형 : structured 데이터로 오라클처럼 저장되는 데이터
(2) 반정형 : semi-structrued 데이터로 xml이나 html처럼 메타데이터나 스키마 등을 포함하는 데이터
(3) 비정형 : unstructured 데이터로 블로그에 저장하는 사진, 메신저 대화, 전화기 통화 등

 

4) Veracity (정확성, 진실성)

- 데이터의 신뢰정도

 

5) Value (가치)

- 빅데이터를 위한 intra cost가 들어감 
(의사결정시 데이터의 유효성 여부)