“빅데이터가 뭐예요?” 요즘 주변 사람들에게 종종 듣는 질문이다. 하지만 20년 가까이 데이터 분석에 관심을 가져온 나도 쉽게 설명해주기 어렵다. 방대한 데이터 양(volume), 다양한 형태(variety), 빠른 생성 속도(velocity)와 같은 단어를 나열하다 보면 설명해 주는 사람도 어렵고 듣는 사람도 흥미를 잃어버린다.
지금 이 시간에도 많은 엄마들이 식사 메뉴로 김치찌개를 생각하고 있을 것이다. 모르긴 해도 아마 우리 국민이 좋아하는 음식 1, 2위를 다투지 않을까 싶다. 그래서 빅데이터를 김치찌개에 비유해서 이야기를 시작하곤 한다.
엄마는 매번 냉장고에 있는 김치, 참치캔, 양파, 대파 등 몇몇 재료를 가지고 김치찌개를 만들어 식탁에 올린다. 가족들은 뭔가 부족한 눈치다. 그래서 이번에는 집에 있던 재료 이외에 돼지고기랑 두부를 사서 넣어봤더니 색다른 맛이라고 좋아한다.
예전에 기업들은 회사 내부의 데이터를 이용해서 정보를 만들고 고객 서비스를 했지만 기대한 만큼 성과가 나오지 않았다. 지금은 외부의 데이터까지 통합해서 분석하고 의미 있는 정보를 추출하기 시작하면서 숨어있던 1인치를 찾아내고 있다. 보다 큰 통찰력(Big Insight)을 갖게 된 것이다.
엄마에게 다른 고민이 생긴다. 가족들이 맛있게 먹다가도 간혹 맛이 없다고 그런다. 쓰는 재료나 요리 방법은 항상 같은데 왜 그런지 모르겠다. 알고 보니 신김치의 숙성 정도가 매번 다르고 돼지고기의 품질도 다르다. 어떤 때는 마늘이 없어서 그냥 끓여버리기도 하고, 돼지고기가 얼어 있어서 녹여야 할 때도 있고, 양념도 그냥 감(感)으로 넣다 보니 양이 제각각이다. 이러면 항상 일정한 맛을 내기가 어려워지고 요리를 준비하는 시간도 길어진다.
기업이나 기관의 내·외부 데이터들도 형태가 천차만별이다. 따라서 이러한 다양한 형식의 데이터를 분석하기 위해서는 사전에 표준화하는 과정이 필요하다. 불필요한 부분은 잘라내기도 하고 모양도 맞춰가면서 최상의 분석을 위한 사전 처리 작업을 하는 것이다.
이제 됐다 싶은데 엄마는 새로운 고민에 빠진다. 오늘은 가족들이 도통 김치찌개에 숟가락을 대지를 않는다. 맛이 있다, 없다를 떠나서 아예 김치찌개가 먹기 싫다고 한다. `좋은 재료에 정확한 레시피에 정성까지 담아서 내가 얼마나 신경을 써서 준비한 음식인데, 손도 대지 않을 수가 있지?` 실망이 크다. 뭐가 잘못된 걸까?
오늘 가족들은 구수한 된장찌개를 먹고 싶었던 것이다. 재료, 맛, 정성, 요리 실력을 말하기 전에 애초에 김치찌개는 관심 밖에 있었던 것이다. 엄마는 가족의 정확한 요구사항을 모르고, 아니 관심도 없고 그냥 김치찌개 해주면 잘 먹을 거라고 생각한 결과다.
상당수 문제는 여기서 발생한다. 해결해야 할 과제가 무엇인지도 잘 모르면서, 또는 고객이 어떤 것을 좋아하는지 들어보지도 않고서 분석을 시작한다. 비싼 솔루션을 사용해 많은 전문가들이 날을 새우면서 분석한 정보니까 당연히 고객들은 잘 활용하고 좋아할 것이라는 생각은 자만이고 착각이다.
나도 어려운 것은 딱 질색이다. 새로운 기계든, 설명서든 무조건 쉬워야 한다. 김치찌개가 특별한 사람만 먹는 음식이 아니듯, 정부는 지난 1년간의 준비를 바탕으로 빅데이터라는 좋은 주제를 국민들이 쉽게 이해하고 활용할 수 있도록 홍보해야 한다. 빅데이터는 공공데이터 개방과 활용, 정부3.0, 일자리 창출, 창조경제와 같은 굵직한 키워드의 중심에 있기 때문이다.
빅데이터는 어느 한 영역의 소유물이 아니다. 특정 학과에 국한되지도 않고, 특정 업종에서만 활용할 수 있는 것도 아니다. 통섭적 교류가 매우 중요한 분야기도 하다. 많은 학생들이 이 분야에 도전해 대한민국의 창조적 소프트 파워를 높여주기를 바란다. 빅데이터, 생각만 해도 군침이 돈다.
한경록 광주발전연구원 부연구위원 krhan@gji.re.kr
