빅데이터(BigData)란 무엇인가?
IT 업계의 2가지 큰 이슈를 꼽으라면 '빅데이터' 와 '클라우드'를 손에 꼽는 사람들이 많습니다.
수년전부터 거론되고 있는 이 2가지 기술은 서로 닮아 있으며 중요합니다.
NIPA , Gartner ,한국 IDC, ETRI 10대 IT기술에 빠지지 않고 등장하는것이 바로 빅데이터 얘기입니다.
그렇다면 도대체 빅데이터(BigData)란 무엇일까요?
빅데이터란(BigData)?
- 빅데이터란, 데이터 소유와 규모의 경계를 넘어 사회적으로, 기업적으로 가치를 창출할 수 있는
잠재력을 가진 데이터와 그를 분석, 결과를 도출할 수 있는 정보화 기술력 입니다.
그러므로 빅데이터는 데이터의 규모 뿐만 아니라 가치 있는 정보추출 기술, 그리고 정보의
활용까지 전 과정을 의미하는 개념 입니다.
빅데이터는 3V의 특성이 기존 데이터와의 구별을 가져 오지요.
지원,처리,분석,관리하기 위한 차별화된 기술이 요구 됩니다.
여기서 3V란?
1. Volume (규모의 증가)
: 기술적인 발전과 IT의 일상화가 진행되면서 해마다 디지털 정보량이 기하급수적으로 폭증
=> 제타바이트(ZB) 로의 진입
2. Variety (다양성의 증가)
: 로그기록, 소셜, 위치,소비, 현실 데이터 등 데이터 종류가 증가
- 텍스트 이외의 멀티미디어 등 비정형화된 데이터 유형의 증가
3. Velocity (속도의 증가)
: 사물정보(센서,모니터링), 스트리밍 정보 등 실시간성 정보증가
- 대규모 데이터 처리 및 가치 있는 현재정보(실시간) 활용을 위해 데이터 처리 및 분석 속도가 중요
과거와 현재의 빅데이터 비교
|
과거 |
현재 |
데이터 형태 |
특정 양식에 맞춰 분류 |
형식이 없고 다양함 |
데이터 속도 |
배치(batch) |
근실시간(near real-time) |
데이터 처리 목적 |
과거 분석 |
최적화 또는 예측 |
데이터 처리 비용 |
국가ㆍ정부 수준 |
개별 기업 수준 |
- 예전에도 슈퍼컴퓨터를 이용하여 매우 큰 거대한 양의 데이터를 분석 해 왔습니다.
그러나 어마어마한 비용에 비해 효과가 떨어졌으며 정부에서나 할 수 있는 수준 이었지요.
최근의 빅데이터 시대에는 보다 저렴한 비용으로 매우 큰 데이터를 효과적으로 처리 할 수 있게 되었다는
것을 의미합니다. 오픈소스 기반의 하듑이라던지 이러한 기술이 뜨면서 매우 저렴하고 효율적으로
정보를 추출하고 기존 정보와 통합해 가치를 전달할 수 있게 되었습니다.
