아주 오랜만에 글을 올립니다. 이제 1주일에 하나씩은 다시 써보려고 합니다.
CloudZ는 SK(주) C&C의 클라우드 서비스 브랜드입니다. A부터 Z까지 고객의 어떤 니즈에도 부합하는 최적의 클라우드 사업자가 되겠다는 의미를 담고 있습니다. (www.cloudz.co.kr)
디지털 Transformation을 위한 핵심 서비스인 데이터 수집 (IoT), 데이터 저장 및 처리 (빅데이터), 분석 (빅데이터 + 데이터 시각화) 서비스를 적용하는 작업을 하고 있습니다. 고객 적용을 하고 있는 중인데, 준비되면 본 블로그를 통해서 가장 먼저 알리도록 하겠습니다.
전 세계의 데이터 규모가 매년 59% 증가하는 것으로 조사 되었습니다. 늘어나는 데이터의 대부분은 비정형 데이터, 즉 이미지, 동영상, 지도 등인데, 늘어나느 이유는 입력장치, 즉 센서, 디바이스, 인터넷상의 bots 및 crawlers 등이 늘어나기 때문입니다.
그렇다면 이런 데이터를 모두 저장하는 것이 맞는 해법일까요? "Garbage in, Garbage Out"
난지도 종합처리장을 생각해보면 일부 재활용 쓰레기 분리를 통해 활용은 가능하겠지만, 본질적으로 쓰레기 더미에서는 쓰레기만 나올 것입니다.
현재 데이터 관련된 현황은 다음과 같습니다.
1. 데이터와 분석의 복잡도 증가: 비구조적 데이터의 증가, 80% 이상의 비구조적 데이터는 가치가 없습니다. 정형/비정형 데이터를 어떻게 저장, 분석, 축적할 것인가가 주목되고 있습니다.
2. 경제학, 새로운 기술: 클라우드 컴퓨팅과 commodity hardward가 연산 및 저장 비용을 획기적으로 줄이고 있고, 데이터 처리의 경제학 개념을 바꾸고 있습니다. 새로운 분산 처리 프레임웍 (하둡), 풍부한 생태계와 도구가 대용량 데이터 처리를 가능하게 합니다.
이를 대응하기 위한 마이크로소프트의 빅데이타 접근 전략 입니다.
1. 하둡을 더 많은 IT Pro와 개발자가 접할 수 있게 함
. 하둡을 윈도우에서 사용 가능하도록 한다. 하둡 클러스터를 쉽게 획득, 배포, 설정하여 구동하는데 소요되는 시간을 단축합니다 .NET, 자바스크립트 등의 범용 언어와 통합하여 하둡을 통해 빅데이터를 수백만 개발자가 이용할 수 있게 합니다.
2. 하둡을 엔터프라이즈에서 사용 가능하도록 함
. 하둡과 SQL 서버간 데이터 이동이 가능하고, 분산된 환경의 하둡을 기존 윈도우, 시스템 센터, 액티브 디렉토리 등의 IT 인프라와 통합할 수 있게 하면서 엔터프라이즈가 원하는 보안, 예측된 성능을 제공할 수 있게 합니다. 또한, 하이브리드 클라우드 시나리오로 하둡을 배포할 수 있습니다. (온프레미스와 클라우드)
3. 빅데이터로 얻을 수 있는 통찰력을 모든 사용자가 활용할 수 있게 함
. SQL 서버 Analysis, Reporting Service, Sharepoint를 포함한 BI 플랫폼에 통합하여 셀프서비스 BI 도구 (엑셀 파워피봇, 디바이스 상의 파워뷰등을 통한 접근성을 제공하여 더 많은 사용자들이 빅데이터를 통해 통찰력을 얻을 수 있게 합니다.
즉, 빅데이터는 정형, 비정형 데이터로부터 조직의 모든 구성원이 통찰력을 얻어 데이터 자원을 통해 비즈니스 및 경제적인 가치를 얻을 수 있도록 하는데 목적이 있습니다.
한번의 빅데이터 프로젝트 수행으로 빅데이터가 완성됐다고 보는 것은 무모할 것 같습니다. 빅데이터는 기술이 아니라, 기술을 포함하여 비즈니스, IT 서비스가 결합하여 완성되는 합작품이기 때문입니다.
하지만 한 기업에서 해당 프로젝트의 품의가 이루어지는 과정이 같은 프로젝트를 여러번 승인해주지 않기 때문에 한 번의 구축으로 원하는 결과를 얻을 수 있는 것처럼 포장하는 경우가 종종 발생합니다. 이럴 경우 원하는 결과를 얻기 어려울 때가 많을 것 같습니다. 프로젝트를 시작하기 전에 빅데이터의 정의를 내려보고 어떤 것을 원하는지 명확히 한 후에 시작할 것을 권유드립니다.
빅데이터 프로젝트를 단계별로 나눠보면 데이터통합, 데이터 정제작업을 거쳐서 데이터 분석이 이루어지고, 데이터 분석을 통해 얻은 값으로 비즈니스 프로세스에 반영하게 됩니다.
IT 트렌드 중 클라우드 컴퓨팅에 대해 주로 다뤄왔는데, 이제는 클라우드를 통해 직접 이점을 얻을 수 있는 빅데이터에 대해 이야기를 해볼까 합니다.
빅데이터에 대해서는 이미 많은 이야기가 나오고 있습니다.
빅데이터에 대한 정의부터 내려보겠습니다.
'데이터 규모가 거대하고 형식이 다양하고, 순환속도가 매우 빨라서 종전의 방식으로는 관리 및 분석이 어려운 데이터'
첫째, 규모가 크다. Volume
둘째, 다양한 형식으로 이루어져 있다. 구조적 (매출, 재고 데이터 등), 비구조적 데이터 (동영상, 메시지, 블로그, 음악, 사진, 소셜미디어, 지리데이터 등) Variety
셋째, 빠른 순환 속도 Velocity, 즉 데이터 생성 후 유통, 활용되기까지 소요되는 시간이 분, 초 이내로 단축
참조) 삼성경제연구소, 빅데이터: 산업 지각변동의 진원
많은 양의 빅데이터를 처리할 수 있는 기술의 발전으로 기존에는 의미없던 데이터에서 가치창출이 가능해짐
기존에는 처리하기 어려웠던 비정형/비구조적 데이터를 포함한 모든 형태의 데이터 분석이 가능함으로 고객의 행동방식, 시장 트렌드등에 대해 파악하는 것이 가능해짐
일반적으로 경험하고 있는 챌린지는 다음과 같습니다.
1) 늘어나는 데이터를 다루기 위한 적절한 도구 필요
2) 정형, 비정형 데이터 모두를 분석할 필요가 생김. 약 85% 이상의 데이터는 비정형데이터
3) 실시간 데이터 분석 필요. 트위터, 페이스북, 싸이월드 등의 데이터를 실시간으로 분석
4) 간단한 배포 및 관리가 가능해야 함
다음 글에서는 위와 같은 빅데이터 분석이 가능한 솔루션에 대해 언급해보도록 하겠습니다.
|
