관련 통계자료 다운로드 빅데이터 처리 프로세스 영화 `매트릭스`에서 모피어스는 빨간약과 파란약을 네오에게 내민다. 빨간 약을 먹으면 사물의 진정한 현실을 깨우치는 본질을 볼 것이고, 파란 약을 먹으면 사물에 대한 그의 지각이 변하지 않을 것이라 말한다.(즉, 빨간약을 먹으면 우리가 현실로 알고 있는 이 세계가 가상의 매트릭스임을 지각할 것이며, 파란약을 먹으면 아무것도 인식하지 못하고 그대로 살아가는 것이다.) 선택은 늘 이분법적이다. 아이러니하게 정보의 세계는 이분법적인 논리를 바탕으로 사물의 본질을 명확히 규명하는 것이다.
◇불확실성의 원인은 정보의 부재=우리가 살아가는 세상도 수많은 불확실성 속에서 여러 선택을 이어가게 된다. 불확실성의 본질은 정보의 부재다. 따라서 정보가 부재한 현실의 불확실성으로 인해 여러 가정 또는 시뮬레이션으로 계량화된 경영기법을 사용하게 되고, 때로는 직관에 의지하게 된다.
`불확실성의 시대(The Age of Uncertainty)`의 저자이자 저명한 경제학자인 갈브레이드는 “불확실성은 정보의 부재에서 출발하기 때문에 충분한 정보를 확보하게 된다면, 최소한의 대응 방안을 찾을 수 있다”고 했다. 오늘날에는 정보기술을 활용해 데이터를 축적하고, 실시간 데이터를 파악하거나 변화의 추이를 분석하여 정보의 부재를 일부 해소할 수 있으며, 이로 인해 불확실성을 줄일 수 있게 됐다.
현재 많은 기술이 실시간 기반 정보 인프라 속에서 창조적인 기업환경과 혁신을 이야기 하고 있다. 글로벌 경쟁상황에 직면한 우리의 문제와 고민이 아직도 불확실성에 있는 이유는 아쉽게도 현재 모바일 환경의 새로운 기술에서 넘쳐나는 수많은 내외부 데이터의 활용 또는 인지를 이제 막 시작했다는 것이다.
현재 구축된 정보시스템은 기존의 구조화된 데이터를 분석·추출해 과거를 보여주는 것이다. 현재의 정보기술, 즉 데이터베이스 소프트웨어, 네트워크, 스토리지, 시스템 인프라로는 넘쳐나는 비구조적인 새로운 데이터를 지속적으로 관리·저장하는데 한계를 가지고 있다.
요즘 데이터는 스마트폰, 스마트패드 등 다양한 모바일 기기에서 시작해 사회 인프라인 CCTV, 센서, 내비게이션, 전자금융, 콜센터, 인터넷 검색, 채팅 등 수많은 곳에서 생산되고 있으며, 소셜 미디어 환경에서 다시 융복합되고 증폭돼 생성된다.
수많은 원천 데이터를 활용하면 데이터 정보를 기반으로 한 예측력을 강화하고, 위기관리를 통해 정보의 불확실성을 감소시킬 수 있게 될 것이다. 또 새로운 비지니스 모델을 창출하거나 기존 비지니스를 복합화해 발전시킬 수 있고, 이종 서비스의 연계와 협업으로 새로운 차원으로 도약할 수 있다.
◇빅데이터 위한 IT환경 필요=불확실성이 증대 될수록 다양한 분야를 아우르는 지식과 개방된 사고가 요구되듯 정보 인프라의 개방성이 필요하다. 또 빅 데이터 활용을 위해서도 실시간 기반 데이터를 축적해 상관관계 분석이 가능한 추론 소프트웨어와 개방형 시스템, 협업 클라우드 인프라가 필요하다. 빅 데이터의 특징은 비구조적이고 정제되지 않았으며, 비문맥적인 소리와 음성의 청각적 요소와 시각적인 요소를 포함하는 혼재성이다.
아쉽게도 우리가 구축해 온 구조화 프로세스와 인프라 시스템은 이러한 빅 데이터가 가지고 있는 수많은 시그널을 해독하지 못한다. 빅데이터는 메모리 기반 실시간 컴퓨팅 환경에서 빛을 발하게 된다.
그래서 오픈 솔루션 기반의 하둡과 컨버지드 클라우드, 인메모리 데이터베이스 소프트웨어는 빅 데이터를 위한 최적의 솔루션으로 주목 받고 있다. △비구조화된 분석과 행과 열을 함께 분석 처리할 수 있는 병렬 데이터 프로세싱 △이미지와 사운드를 처리하는 애플리케이션 프로세싱 △정밀한 다차원 분석 시스템 △선호도 관리 등의 수학적 알고리즘 프로세싱 △SNS와 연계된 고객 지원 시스템 △대량의 데이터 스트리밍 관리가 가능하다.
빅데이터 정보활용은 신천지의 세계다. 빅데이터는 정보기술의 영역뿐만 아니라 사회와 경제, 교통과 통신, 의료, 교육과 공공복지 서비스 및 국방과 산업의 전 영역으로 확산되고 있다. 각국의 정부 또한 공공 영역에서의 빅데이터 활용을 통해 노령화 사회를 대처해가며, 새로운 세대의 요구에 맞는 공공서비스를 창출하고 있다.
기존 비지니스 인텔리전스(BI)와 다른 차원의 접근방법이 이미 모색돼 신기술에 의한 새로운 시도가 이어지고 있는 것이다. 빅데이터는 문제 발견 및 해결 답안을 찾아내고, 의사결정 능력을 향상시켜 예측 기반의 플랫폼을 만들어 내고 있다. 데이터 생성과 창출의 강국으로 알려진 우리나라의 데이터 전략은 기대보다 미흡한 편이다.
◇석기시대는 돌이 없어 끝난 게 아니다=새로운 데이터에 대처하는 우리의 모습을 요즘 유행하는 용감한 녀석들의 버전으로 얘기해 보자. “듣고 있나. 당신들이 아무 생각 없이 흘려보냈던 데이터. 사실은 황금. 돈 주고도 구할 수 없는 보석. 잘난 척 하는 당신의 눈. 사실은 문맹”. 빅 데이터는 다음 세대에 물려줘야 할 또 하나의 유산이 되고 있으며, 현재 우리의 대처와 노력을 더욱 절실하게 요구하고 있다.
기존의 구조화된 데이터와 빅데이터는 전혀 다른 또 하나의 세계다. 실제 비지니스 트랜잭션에서 발생하는 데이터와 가상공간에서 발생하는 새로운 데이터, 우리가 인지하는 데이터의 영역과 미처 인지하지 못하는 데이터의 영역이 서로 공존하고 있다.
이제 기존의 데이터 분석 시스템의 한계점을 인식하고, 인지 영역과 비인지 영역을 포함한 거의 모든 것에 대한 데이터의 활용과 연계를 위한 빅데이터 아키텍처의 진화된 설계와 활용이 필요한 시점이다. 폭증하는 빅 데이터를 비용절감 차원에서 접근할 것이 아니라 이를 활용한 새로운 비즈니스 모델로 가치를 창출하고, 지능형 분석 서비스를 만들어 감으로써 불확실한 미래의 경쟁력을 확보해야 한다.
스마트폰 사용자가 기존 피쳐에 장애나 문제가 생겨 스마트폰을 구입하는 것이 아닌 것처럼, 혁신에 의한 기존 기술의 노후화는 이미 시작됐다. 새로운 기술과 데이터 분석에 대하여 기존 투자수익률(ROI) 투자 방법과 계량측정법으로는 혁신의 파도를 넘지 못한다. 새로운 데이터 환경에 대한 발 빠른 기술 혁신, 투자, 혜안만이 새로운 시장을 창출하며 불확실성을 줄일 수 있다. 석기시대가 끝난 것은 더 이상 돌이 없어서가 아님을 우리는 알기에….
최형광 한국HP 기술컨설팅 총괄 상무 hyong-kwang.choi@hp.com
빅데이터 처리 프로세스
