현업 사용자가 만족하는 빅데이터 분석 환경 구축 전략
1)빅데이터 분석, CRM의 쓰라린 추억을 잊었나
2)빅데이터 분석의 환상①누구나 게임 체인저가 될 수 있다?
3)해외 컨설팅 업체의 조언①딜로이트 “정보 자산을 알고 있는 실무자들과 먼저 논의하라”
4)해외 컨설팅 업체의 빅데이터 분석 조언②아링 “빅데이터를 비즈니스 임팩트로 전환하는 4단계”
5)데이터 과학자만 있으면 OK? 빅데이터 분석팀의 5가지 필수 인력
6)솔루션은 거들 뿐, 엔드유저가 외면하면 게임오버…실무자에 직관성과 속도를 허하라
7)진격의 셀프서비스BI: 데이터 디스커버리&비주얼라이제이션이 뜬다
8)빅데이터 분석의 환상②비정형 데이터가 모든 것? 정형 데이터와 통합·연관 분석 없인 껍데기
9)데이터 획득부터 분석, 판단, 실행까지 실시간 아니면 쓸모없다
10)빅데이터 분석이 일으킨 x86 서버의 반란…통합에서 다시 분산의 시대로
기술 발전으로 이전에 엄두도 내지 못했던 다양한 유형의 대용량 데이터 분석이 가능해지면서 빅데이터 분석이 업계 화두로 떠올랐다.
2001년 더그 레이니 가트너 애널리스트는 빅데이터가 3V, 즉 대용량(Volume), 팽창속도(Velocity), 다양성(Variety)의 속성을 갖는다고 규정했다. 이러한 속성을 가진 데이터를 저렴한 업계 표준 솔루션으로 빠르게 분석 가능해졌기 때문에 빅데이터 분석이 큰 관심을 끌고 있으며 빅데이터 분석의 최고 공신이 하둡(Hadoop)이라는 데 이견은 없다.
공공기관과 기업들은 데이터를 기반으로 사전 예측적인 분석은 물론 구체적 실행 계획을 포함해 최선의 의사결정을 할 수 있는 비즈니스 인사이트를 기대하고 있다. 그러나 빅데이터 그 자체가 의미나 가치를 제공하는 것은 아니다. 현재 기업들은 고객 경험 향상, 혁신 가속, 최선의 의사결정 등 깊고 빠른 통찰력을 얻는 대신 다양한 데이터, 대용량 데이터를 저장하는 데 급급하고 있다.
이 때문에 딜로이트는 올 3월 발표한 ‘기업 빅데이터의 얼굴 찾기(Finding the face or your data)’ 보고서에서 빅데이터는 3V의 속성을 갖지만 ‘빅데이터 분석’은 이와 다른 4V의 속성 혹은 기능으로 나아가고 있다고 주장했다. 빅데이터 분석의 4V 속성은 유효성(Validity)·위치(Vanue)·시각화(Visualization)·가치(Value)다.
유효성(Validity)은 분석 대상이 되는 데이터가 트랜잭션 데이터와 같은 ACID(Atomicity·Consistency·Isolation·Durability. 원자성·일관성·고립성·지속성은 DB 트랜잭션이 안전하기 수행 완료되는 속성을 뜻함) 특징이 부족하다는 점과 데이터 신뢰성에 초점을 맞춘다.
위치(Vanue)는 데이터 소스가 매우 다양한 데서 일어나는 복잡성을, 시각화(Visualization)는 대량의 복잡한 데이터세트를 가져와 실행 가능한 구체적인 형태(actionable form)에서 분석하는 것을 뜻한다. 또 기업들이 빅데이터 분석을 통해 실제 비즈니스 가치를 일상의 반복되는 업무 기반으로 어떻게 도출하는가 하는 가치(Value)는 가장 중요한 V에 해당된다.
◇왜 비주얼 분석을 빅데이터 분석에서 고려해야 하는가=딜로이트가 주장한 빅데이터 분석의 4V 속성은 딜로이트뿐 아니라 가트너, 포레스터리서치 등 해외 유수 컨설팅 업체와 해외 IT 전문 미디어들이 데이터 디스커버리&비주얼라이제이션 툴에 관심을 갖는 이유이기도 하다.
일각에서는 다량의 데이터를 분산 처리하고 쿼리를 수행할 수 있는 것에 초점을 맞춰 빅데이터 분석과 탐색&시각화 기능은 관련이 없다고 한다. 그러나 빅데이터 분석은 기술 관점이 아니라 업무 패러다임 시프트를 가져온다는 점을 이해할 필요가 있다. 빅데이터 분석은 ‘골방’의 데이터 분석팀이 아닌, 현장의 비즈니스 실무자들에게로 데이터 분석 업무가 이동하는 현상을 낳고 있다.
빅데이터 분석은 대용량, 다양한 데이터들을 업계 표준 시스템 기반으로 빠르게 처리하여 분석, 비즈니스 인사이트를 제공할 수 있다는 점에서 각광받는다. 또한 빅데이터 분석은 데이터의 성격과 유형, 고속의 분산 처리 기술 등 IT 관점 외에 데이터의 힘을 빌려 사전 예측 기반의 구체적인 실행 플랜을 도출하는 실시간 인사이트 확보라는 비즈니스 관점을 만족시켜야 한다. 비즈니스 속도와 의미를 둘 다 충족시키지 못하는 보고서는 ‘데이터 분석’이 아닌 ‘집계’ 보고서에 불과하다.
따라서 미래의 데이터 분석은 방대하고 다양한 유형의 데이터 처리, 비즈니스 인사이트, 그리고 사전 예측 및 실시간 액션 플랜을 도출할 수 있는 속도 등 이 세 가지를 만족시켜야만 한다. 기업들 역시 데이터를 저장하는 데 그치지 않고 활용할 수 있는 방법을 찾고 있으며 활용법 중 하나가 데이터를 분석해 사전 예측력을 높이고 시장의 변화에 적시 혹은 선제 대응하려 한다.
그러나 이전처럼 데이터 분석팀이 몇 주, 몇 개월 걸려 비즈니스에 보고서를 제출하는 행태로는 빅데이터 분석의 필수 요건인 속도를 만족시킬 수 없다. 이러한 방식으로는 분석을 수행했다는 데 의미가 있을 뿐이지 비즈니스에 가치를 제공하기 어렵다.
또 기업이 이루려고 하는 비즈니스 목표가 무엇인지, 목표를 달성하기 위해 필요한 데이터가 무엇인지, 어떤 데이터를 분석해야 원하는 결과를 알 수 있는지, 앞으로 어떤 정책이 필요한지 등을 총체적으로 가장 잘 이해하고 있는 사람은 데이터 분석팀이 아니라 비즈니스 실무자다. 몇 단계를 거친 커뮤니케이션, 여러 번 주거니 받거니 하는 커뮤니케이션은 속도뿐 아니라 데이터 분석의 목표와 그 결과에 대해서도 혼란을 가져다줄 수 있다.
따라서 원하는 바를 가장 잘 알고 있는 비즈니스 실무자가 데이터 분석을 직접 수행할 때 가장 빠른 속도로, 가장 정확한 결과를 도출해낼 수 있는데, 데이터 디스커버리&비주얼라이제이션 툴은 이러한 현업 실무자들에 데이터 분석 직관성을 제공해줄 수 있는 툴이다.
◇빅데이터 분석, IT와 비즈니스 유저의 중요도 달라=기업이 빅데이터 분석을 통해 구체적 실행 방안을 적시에 마련하기 위해서는 속도가 요구된다. ‘데이터에서 의사결정, 액션 플랜 도출까지’의 속도 향상을 위해서는 하둡 분산처리 시스템이나 인메모리컴퓨팅, DW 어플라이언스 등 인프라스트럭처도 중요하지만 조직 내 분석 업무가 처리되는 프로세스도 중요하다.
비즈니스 실무자가 데이터 분석팀에 맡기지 않고 직접 분석을 수행할 수 있다는 점, 그리고 분석 결과를 직관적으로 이해할 수 있다는 점은 빅데이터 분석의 전 과정, 즉 데이터 탐색부터 액션 플랜 도출에 이르는 전 과정에서 소요되는 시간을 크게 줄여준다. 불필요한 단계를 없애고 수요자와 분석팀 간의 미스 커뮤니케이션을 없앨수록 의사결정 속도가 빨라진다.
데이터 비주얼라이제이션 툴은 현업 실무자들이 분석할 데이터를 직접 찾고 시각화 기법에 의해 분석의 결과를 직관적으로 이해할 수 있기 때문에 빅데이터 분석 속도와 퍼포먼스를 극대화해줄 수 있다. 텍스트로 처리된 분석 결과 대신 비주얼 패턴으로 데이터 간의 연관성을 직관적으로 보여줘 더욱 빠르고 정확하게 상황 판단 및 의사결정을 내릴 수 있다.
나아가 데이터 디스커버리&비주얼라이제이션 툴은 기업의 데이터 분석 주체를 변화시키는 일종의 패러다임 시프트를 유발하고 있으며 궁극적으로 진정한 셀프서비스 BI를 가능케 해줄 것으로 기대를 모으고 있다.
해외 엔터프라이즈 컴퓨팅 전문 온라인 미디어인 테크타깃의 서치비즈니스애널리틱스(searchbusinessanalytics.techtarget.com)는 “데이터 디스커버리 툴이 전통적인 IT 사고방식을 축출하고 있다”고 전하며 “비즈니스 인텔리전스(BI)가 구현되는 방식에서 근본적인 패러다임 이동이 일어나고 있다”고 존 헤거티 가트너 애널리스트의 말을 인용했다.
1364명에 대한 설문 조사 결과 비즈니스 유저와 IT 유저는 빅데이터 분석에서 중요시하는 것이 달랐다고 전했다. IT는 표준과 퍼포먼스, 데이터 품질을 중시하지만 비즈니스 유저들은 유연성과 스피드를 요구했다는 것이다. 따라서 “데이터 디스커버리 툴에 대한 열광은 비즈니스 유저와 IT가 추구하는 서로 다른 특성들 속에서 인사이트를 제공하기 때문”으로 해석했다.
데이터 시각화 툴에 대한 중요성은 올 2월 발표된 가트너의 BI&분석 플랫폼 매직쿼드런트 보고서에서도 반영된다. 가트너는 올 매직쿼드런트 보고서에서 기존 ‘BI 플랫폼’ 대신 ‘BI&분석 플랫폼(Business Intelligence and Analytics Platforms)’으로 변경했는데 최근 기업들에게 나타나고 있는 분석의 중요성을 반영한 것이라고 설명했다. 최근 비즈니스 분석과 인텔리전스 솔루션들의 기능 경계가 모호해진 탓도 있다.
특히 이 보고서에서는 팁코, 태블류(Tableau), 클릭테크(QlickTech) 등 데이터 비주얼라이제이션 전문 툴 업체도 대거 반영되어 있어 관심을 끈다. 이는 가트너가 BI&분석 플랫폼 업체들을 평가하는 기준과 밀접한 관련이 있다.
◇인터랙티브 시각화 기능, BI&분석 플랫폼 평가 기준으로 떠올라=가트너 BI&분석 매직쿼드런트 보고서는 △통합(integration) △정보 공급(information delivery) △분석(analysis) 세 가지 카테고리에서 15가지 기능을 비교했다고 밝히고 있다. 비교된 기능은 통합 영역에서는 △BI 인프라스트럭처 △메타데이터 관리 △개발 툴 △협업(Collaboration), 정보 공급에서는 △리포팅 △대시보드 △애드혹(Ad hoc) 쿼리 △MS 오피스 통합 △검색 기반 BI △모바일 BI다.
흥미로운 것은 분석 영역에서 비교된 기능이다. 분석 영역에서는 △OLAP(Online Analytical Processing) △인터랙티브 비주얼라이제이션 △사전 예측적(Predictive) 모델링과 데이터 마이닝 △스코어카드(전략 목표에 KPI를 정렬시킨 전략 맵으로 수행 단계를 보여주는 지표)의 기능을 비교했다. 이 중 인터랙티브 비주얼라이제이션 기능에 대해서는 “행열 대신 인터랙티브한 이미지와 차트를 사용함으로써 데이터를 보다 효과적으로 다양한 관점에서 보여줄 수 있는 기능”으로 규정했다.
보고서에서 가트너는 “인터랙티브 비주얼라이제이션은 데이터를 더욱 쉽게 파고들어 새로운 인사이트를 발견할 수 있도록 해주는 기능이며, 더욱 많은 기업들이 인터랙티브 비주얼라이제이션과 같은 중요한 기능들을 활용해 (예측)진단 분석 환경을 구축하고 있다”고 전했다. 예를 들면 데이터 속에서 비주얼 패턴들을 파악해 제각각의 공급망 프로세스에서 정시 배송을 어렵게 만드는 요인이 무엇인지 파악할 수 있다고 소개했다.
다시 말해 비즈니스 목표를 달성하지 못하도록 가장 애를 먹이고 있는 비즈니스 프로세스가 무엇인지 데이터 비주얼라이제이션이 한 눈에 파악할 수 있도록 해주는 것이며, 이 때문에 데이터 비주얼라이제이션과 분석 플랫폼을 함께 결합하여 ‘비주얼 분석’을 하는 기업들이 늘고 있다는 것이다.
이런 추세는 데이터 비주얼라이제이션 업체들이 BI 및 분석 시장에서 두각을 나타내도록 하고 있다. 가트너 매직쿼드런트 보고서에서도 데이터 시각화 전문 소프트웨어들을 BI&분석 플랫폼에 대거 포함시켰다.
대표적 데이터 비주얼라이제이션 전문 업체로는 팁코(스폿파이어), 태블류, 클릭테크가 있다. SAP는 올해 5월 루미라(구 비주얼 인텔리전스)를 내놓았다. IBM이 지난 7월 발표한 SPSS 애널리틱 카탈리스트도 데이터 디스커버리&비주얼라이제이션 전문 툴이다.
또 비즈니스 인텔리전스 및 분석 소프트웨어 업체들도 자사 제품에서 데이터 비주얼라이제이션 기능을 강화하도록 하고 있다. BI 부문에서는 마이크로스트래티지의 비주얼 인사이트, IBM 코그노스 인사이트가 있다.
분석 솔루션 부문에서도 오라클 엔데카, 테라데이타 애스터 등이 시각화 기법을 강조하고 있다. 오라클은 엔데카를 정형/반정형/비정형 데이터를 아우르는 분석 솔루션으로 주장하고 있지만 가트너 보고서에서는 시각화 기능이 강화된 데이터 디스커버리 툴로 분류하고 있다. MS 또한 파워피봇(PowerPivot)에서 파워뷰로 시각화 기능을 강화시켰다.
SAS의 경우 아예 비주얼 분석이라는 새 장르를 열었다. 데이터 비주얼라이제이션 기능을 자사 통계분석 플랫폼과 통합했다. 특히 SAS 비주얼 애널리틱스(Visual Analytics)는 비즈니스 실무자를 겨냥하고 있다. 이전의 SAS 통계 기반 사전예측 분석 솔루션들이 전문 데이터 분석팀을 대상으로 했다면, 비주얼 애널리틱스는 비즈니스 목표를 고민하고 실행하는 현업 실무자들이다. SAS에서는 자사의 비주얼 애널리틱스가 진정한 EUA(엔드유저 분석)을 구현하는 솔루션이라고 주장하고 있다.
국내에서 빅데이터 분석 관련 비주얼라이제이션 업체로는 팁코 스폿파이어, SAP 비주얼 애널리틱스 정도가 활발하다. 하지만 최근 스플렁크 국내 총판인 모스아시아에서는 센트리퓨지라는 데이터 비주얼라이제이션 툴을 국내 소개했다. 이승훈 모스아시아 이사는 “스플렁크로 빅데이터 분석 시스템을 구현하려는 고객들이 데이터 비주얼라이제이션 툴에 대한 수요도 높아 해외 전문 솔루션을 소싱하게 되었다”고 설명했다. 또 “빅데이터 분석을 분산 처리에만 한정하려 보는 시각은 엔지니어 관점”이며 “실무자들의 생각은 다르다”고 전했다. 빅데이터 분석 환경을 구현하려는 수요에 데이터 비주얼라이제이션 수요도 정비례한다는 것이다.
BPM 등 엔터프라이즈 아키텍처 전문 사이트인 이비즈큐(eBizQ)는 “기술과 사용자가 이런 기조를 유지한다면 기업이 할 수 있는 것은 극적으로 늘어날 것”이라며 “DW팀의 도움 없이 수천만 레코드를 사용자가 직접 분석할 수 있게 되는 것, 전혀 생각지도 못했던 일들이 실제로 일어나고 있다”고 지적했다.
전자신문인터넷 테크트렌드팀
박현선기자 hspark@etnews.com
