세계적인 시장조사와 컨설팅 업체인 가트너·IDC·CA 등이 새해 IT 이슈 1위를 묻는 질문에 한 목소리를 냈다. `빅 데이터`. 올해 IT업계 핫 이슈가 `클라우드`였다면 새해는 `빅 데이터` 상용서비스 시대를 맞이할 전망이다.
우리나라를 비롯한 대부분 선진국은 업무자동화를 위한 정보시스템을 구축한 상태다. IT서비스 업체로서는 기존 업무 프로세스에 수정 사항이 생기거나 또는 시스템 개선, 신규 비즈니스에 진출하면서 생기는 정보시스템 수요가 있지만 양에 차지 않는 실정이다. 뿐만 아니라 클라우드 영향으로 전체 IT시장은 축소되며 이는 앞으로 더욱 가속화할 것으로 보인다. 기업이 쌓아두는 정보는 계속 방대해지는 반면 정보를 분석하고 예측하는 일은 점점 어려워진다.
새로운 부가가치 창출이 절실했던 IBM·HP·삼성 SDS·LG CNS 등 IT서비스 기업은 새 수익원으로 빅 데이터 비즈니스를 주목했다. 이들 고객사 역시 단순 정보화가 아니라 그간 확보한 데이터를 통해 비즈니스 분석과 예측 역량을 강화해 점차 치열해지는 시장 경쟁에서 앞서 나가야겠다는 생각을 갖게 됐다.
◇빅 데이터=클라우드가 과거 ASP나 SaaS 연장선상에 있듯, 빅 데이터는 데이터 웨어하우스(DW)나 비즈니스 인텔리전스(BI)의 연장선상에 있다고 볼 수 있다. 전혀 새로운 기술은 아닌 셈이다. 빅 데이터는 말 그대로 막대한 양의 데이터다. 관련 기술은 크게 △다양한 형태의 데이터 수집 통합 △데이터 분석을 통한 트렌드 및 패턴 발견 △분석결과 실시간 활용한 비즈니스 향상 등의 여러 단계가 모두 포함된다.
컨설팅업체 맥킨지에 따르면 빅 데이터를 제대로 활용하면 공공, 제조, 소매, 의료 부문에서 1% 생산성을 추가로 향상시킬 수 있다. 유럽연합(EU)은 연간 2500유로 이상, 한국은 10조 7000억원 이상의 정부 지출을 줄일 수 있을 것이라고 전망했다.
미국은 국가 차원에서 빅 데이터 기술 개발을 적극 지원하고 있다. 미 대통령 직속 과학기술정책실은 관련 사업에 2억달러를 투입한다고 발표했으며, 지식과 인사이트를 추출 능력을 향상시키기 위해서라고 밝혔다. 미 국방부는 빅 데이터를 활용해 스스로 인지하고 결정해 군사 행동을 수행하는 자율시스템을 개발할 계획이다. 미국 국립보건원은 세계 최대의 유전자 변형 데이터 세트(200TB의 용량)를 무료로 공개한다는 발표도 잇따랐다. 빅 데이터가 기업 뿐 아니라 국가 경쟁력으로 부상하면서 미국, 중국, 일본, EU를 비롯한 세계 각국이 관련 전략 수립에 적극 나서고 있는 실정이다.
◇IBM·EMC·구글 삼국지=지난해 빅데이터 시장 규모는 52억달러로 추산된다. 분야별로는 하드웨어(HW), 소프트웨어(SW), 서비스 시장 중 서비스 매출이 44%로서 가장 큰 비중을 차지했다.
기업들은 자체적인 서비스 역량을 갖추거나 IT서비스 기업의 도움을 받아 빅데이터 경쟁력을 강화하고 있으며 신생 업체들도 속속 등장하고 있다. 빅 데이터는 클라우드 기반의 대용량 데이터 처리 기술인 하둡을 비롯해, 전통적인 RDBMS를 보완하기 위한 NoSQL, 각종 데이터 시각화 기법에 이르기까지 방대한 기술을 사용한다.
현재 빅 데이터에 가장 많은 투자를 하는 업체는 IBM이다. 지난해 IBM의 빅데이터 관련 매출은 11억달러, 전세계 IT기업 중 1위를 차지했다. IBM은 지난 2009년 2월 스마트 플래닛 전략을 발표하면서 일찍이 BAO를 강조했다. 지난 2010년 7월 통계 분석 솔루션 업체 SPSS를 12억달러에 인수했고, 같은해 9월에는 데이터웨어하우스 업체 네티자를 17억달러에 인수하기도 했다. 이 회사는 지난 5년 동안 140억달러를 투자해 빅 데이터 관련 업체 24개를 인수하고 8000여명의 컨설턴트를 확보해 빅데이터와 관련된 토털 서비스 제공에 나서고 있다.
EMC의 행보도 주목할 만 하다. 지난 2009년 11월 EMC는 VM웨어, 인텔, 시스코와 함께 VCE를 설립하고 상호 협력하여 사업을 전개하기 시작했다. 2010년에는 데이터웨어하우스 업체 그린플럼을 인수했으며 같은해 네트워크스토리지 업체인 아이실론을 22억5000만달러에 사들였다.
그 결과 EMC는 올해 하둡분산파일시스템과 통합된 엔터프라이즈 NAS인 `EMC 아이실론 스케일아웃 NAS`를 출시했다. 이 회사는 지난 8년간 인수합병에 140억달러를 투자한 것으로 알려지고 있다. EMC 3대 슬로건은 클라우드와 빅 데이터를 전면에 내세우고 양 기술간 동반 발전을 꾀하고 있는 것으로 보인다.
구글 역시 빅 데이터에서 중요한 업체 중 하나다. 구글은 플랫폼 업체로서 오래 전부터 온라인, 오프라인 할 것 없이 수많은 데이터를 모으고 있다. 검색을 위해 인터넷 상의 웹페이지를 수집하고 있을 뿐 아니라, 지메일, 캘런더 등 무료 서비스를 통해 사용자의 데이터를 모으고 있다. 뿐만 아니라 스트리트뷰, 북스 라이브러리프로젝트 등으로 오프라인 데이터까지 모으고 있다. 구글 플러스로는 소셜네트워크서비스(SNS) 데이터를, 안드로이드 기기를 통해 디바이스 데이터를 모으고 있다.
구글은 그렇게 모은 데이터를 각종 광고 사업에 활용해 수익을 창출하고 있다. 이 회사는 또 빅 데이터 관련 기술과 도구들을 직접 개발해 사용하고 있다. 빅 데이터를 통해 경쟁에서 앞서 나가려는 기업 욕구, 클라우드 영향으로 IT 투자가 감소할 것으로 예상되는 상황에서 새로운 시장을 발굴하려는 IT서비스 기업들의 욕구가 빅 데이터의 앞날에 긍정적인 영향을 미치고 있다. 그에 따라 빅 데이터 시장 규모는 향후 5년간 지속적으로 확대하고 2017년경에는 530억달러를 돌파할 것으로 전망되고 있다.
한편 빅 데이터를 제대로 활용해 성과를 내기 위해서는 그만큼 성숙된 IT 조직 문화를 갖추고 있어야 한다는 지적도 있다. 이제 겨우 정보시스템을 운용하는 기업이 빅 데이터로 성과를 낼 수 없다는 것. IT와 비즈니스 도메인 지식과 경험을 갖춘 인력을 확보하는 것이 필요하다. 또 통계학과 수학적 지식을 갖춘 데이터 과학자의 확보가 필수과제로 꼽히고 있다.
정미나기자 mina@etnews.com
