요사이 빅데이터가 말만 무성하고 공공, 민간 부문을 통틀어 딱히 가시적인 성과가 없다는 기사를 심심치 않게 접하게 된다.
사실이 그렇다. 뉴스 클리핑 서비스에서 조금 진화한 것처럼 보이는 소셜네트워크서비스(SNS) 분석 솔루션이나 외국 사례 몇 가지를 나열하고 `우리도 빨리 해야 한다`는 각종 기관의 보고서 몇 권이 전부라고 해도 과언이 아니다.
몇몇 포털이나 통신사처럼 큰 규모 개발조직이 있는 곳에서 오픈소스를 이용한 업무혁신을 시도하고 있는 것이 그나마 손에 꼽는 성과라면 성과다.
왜일까. 왜 특히 전산운영 부문 종사자들에게 빅데이터가 남의 일처럼 느껴지고 성과가 없는 것일까. 빅데이터 솔루션을 구현해야 한다는 압박감에 고민하는 현장에서 전산을 운영하는 사람들과 함께해본 경험을 바탕으로 그 원인을 진단해봤다.
첫째, 빅데이터를 비즈니스인텔리전스(BI)에 국한하기 때문이다. 빅데이터를 또 다른 방법의 데이터웨어하우스(DW) 솔루션으로 생각하고 마케팅이나 경영기획 쪽 일이라고 제쳐 두니 눈에 띄는 전문 분야가 손에 잡히지 않는 것이다.
전산실에는 데이터베이스(DB)로 처리하지 못하고 묻어둔 어마어마한 로그들이 있다. 그것을 이용해 오퍼레이션인텔리전스(OI)를 찾아낼 수 있다고 생각하는 사람은 의외로 소수다.
둘째, 빅데이터 솔루션을 기성복처럼 골라 입으면 되는 것으로 쉽게 생각하는 경향이 있다. 빅데이터 게임은 패턴 찾기 게임이다. 그 조직의 사업, 운영, 내외부 고객, 협력사의 숨은 의사결정 방식, 행동 패턴을 찾아내는 게임이다. 누가 가져다주는 것이 아니라 스스로 알아내야 하는 것을 간과한다.
빅데이터 솔루션은 그것을 쉽게 찾아주는 도구일 뿐인데 원하는 결과물을 빅데이터 솔루션이 미다스의 손처럼 단번에 해결해 줄 것으로 오해한다.
그렇다면 빅데이터를 전산을 운영하는 나와는 상관없는 뜬구름이 아니라 실제 유용한 것으로 만들고 다가가는 방안은 무엇일까.
먼저 현재의 전산운영 환경에서 수작업으로 로그를 분석하고 있는 업무를 찾아내는 것이다. 이 로그들은 분명 DB로 처리하기에는 너무 느리거나 처리 자체가 불가능해서 수작업으로 할 수밖에 없었던 말 그대로 빅데이터였을 것이다.
빅데이터 솔루션은 이미 알고 있던 패턴을 실시간으로 찾아준다. 전통적인 DB 솔루션으로는 해결할 수 없었던 것이다. 이것이 바로 OI고 당장 손에 잡히는 내부 생산성 향상이다.
둘째, 빅데이터 솔루션을 이용해서 새로운 패턴을 스스로 찾으려는 노력이 필요하다. 무엇이든 실시간으로 쉽게 찾을 수 있으니 기존에 수년씩 걸리던 새로운 패턴을 찾는 게임을 단시간에 할 수 있을 것이다. 이런 식으로 기존 패턴을 쉽게 찾아 업무에 활용하고 새 패턴을 생성해 지식을 쌓는 선순환이 일어나면 그것이 조직 경쟁력으로 이어지게 된다.
이런 선순환 구조가 확립되고 기술 경험이 축적되면 내외부의 어떠한 정형, 비정형 데이터도 처리할 수 있게 된다. BI든 OI든 전사 업무로 그 영역을 확장할 수 있게 된다.
이런 역량을 갖춘 인력을 데이터 과학자라고 하고 그 유력한 후보자를 현재 전산을 운영하는 사람들이라고 생각하는 것은 이런 이유에서다.
빅데이터가 새로운 BI 도구의 하나로만 국한돼 인식되는 상황을 하루빨리 벗어나야 광범위한 분야에서 그 성과를 맛볼 수 있다. 그뿐만 아니라 전산운영 조직이 조직의 경쟁력 향상을 선도하는 좋은 기회가 될 것이다.
김진수 에버드롬테크놀로지스 대표 james.kim@everdrome.com
