이번 주에는 빅데이터 관련 기존 고정 필진 대신에 백종욱 세종대 교수의 특별 기고를 게재합니다.
최근 `빅데이터`라는 신조어 등장으로 데이터마이닝의 중요성이 다시 한 번 부각됐다. 데이터마이닝과 골드마이닝은 유사하며 골드마이닝 역사처럼 데이터마이닝도 파급 효과가 매우 클 것이다.
금의 경제적인 가치는 역사에서 이미 입증됐다. 먼저 미국 골드러시는 캘리포니아 지역의 서부개척 시대를 열었고 도시·철도·도로 개발로 경제 부흥의 큰 디딤돌을 이뤘다. 이슬람교가 생겨난 아라비아 지역에서 50톤의 금이 발견돼 이슬람 종교 형성과 거대 이슬람 국가(사라센 제국)를 형성했다. 서부 아프리카 말리의 팀북투 지역에서 발견된 대량의 금은 지역 경제 발전은 물론 15∼16세기 당시에 세계 첫 대학을 세우고 문화와 금을 통한 경제적인 통용 방법까지 나와 유럽에 영향을 끼치는 등 골드마이닝 파급 효과는 상당했다.
데이터마이닝은 오래 전부터 활용됐지만 소수 작은 성공 사례만이 나왔다. 빅데이터 시대에 골드마이닝과 같은 효과를 위해서는 몇 가지 숙제가 남아 있다.
첫째는 금 매장량과 비교해 데이터마이닝 데이터는 매우 방대하고 생각할 수 있다. 그러나 방대한 데이터 중에서 가치 있는 금에 해당되는 부분은 절묘한 조합으로 운 좋게 발생되거나 충분히 많은 데이터 패턴 등에서 발견되는 정보 혹은 지식과 같은 내용이다. 빅데이터 시대에 데이터가 기하급수적으로 늘고 충분한 데이터 용량으로 원하는 정보를 추출할 수 있는 확률은 더 높아진다. 효율적인 방법으로 정보를 추출하는 방법은 데이터 속성과 데이터가 수집된 문화에 익숙한 전문가에 의해 새롭게 고안될 필요가 있다.
물론 데이터를 분석하는 방법론은 R&D분야에서 오래전부터 진행해 오긴 했지만, SNS와 사용자 인터랙션 등과 관련된 데이터가 접목되면서 휴먼 팩터를 고려한 연구가 시도돼야 하는 시점이다. 심리학, 디자인 분야, 통계분석, 인공지능 분야의 지식을 겸비할 수 있는 융합형 인재들을 양성하는 것도 매우 시급한 일이다.
두 번째는 데이터 분석은 체계화된 분석 툴에 의해 이루어지지만 분석 품질은 데이터 분석가의 경험과 역량에 따라 결정된다는 점이다. 단순 데이터 분석은 일반 사람에 의해 가능한 업무지만 복잡하고 의사결정이 중요한 데이터 분석은 전문 데이터 분석가에 의해 이뤄져야 한다.
그러나 현실은 분석 노하우 등이 공개되지 않고 전문가에만 국한된다. 이런 노하우가 비체계적 형태인 개인적 지식과 경험으로 축적돼 분석가에게 전수되거나 공유할 수 있는 형태가 아니다. 그러므로 데이터 분석을 위한 기술 개발은 물론이고 전문 데이터 분석가의 노하우와 반복적인 절차로 구성된 방법론을 체계적인 프로그램으로 발전시키고 여러 전문가 뿐 아니라 일반 사용자도 쉽게 사용할 수 있는 솔루션 패키지를 개발해야 한다.
세 번째로 존 셔터는 캘리포니아 새크라멘토 지역 개발을 위해 스페인 정부로부터 장기 대여를 받았으나 그 곳이 미국 영토가 되면서 광활한 지역이 사유재산으로 귀속됐다. 새크라멘토 근방 시에나 네바다 지역에서 한 목수에 의해 금이 발견되면서 캘리포니아 골드러시는 시작됐다. 존 셔터는 사유지에 금 채광자가 침입하는 것을 적극 막았지만 불법으로 그들은 사유지에서 금을 채광했다. 결국 사유지를 캘리포니아 정부가 보호해 주어도 포기해야만 했다. 금의 가치 때문에 무분별하게 몰려 든 사람에게 개인은 희생을 당할 수밖에 없었다.
빅데이터 시대에도 한정된 기업이나 기관에서 중요하고 가치 있는 데이터를 중소기업이나 학계와 연구소 등에 오픈해 데이터 분석 활용도를 높이는 것이 절대적으로 필요하다. 물론 무분별한 데이터 공개로 말미암아 부작용이 발생할 수 있는 `Privacy Preserving Data Mining`, `Distributed Data Mining` 등과 같은 민감한 데이터의 공개를 방지하면서 데이터 자체를 분석 대상으로 활용할 수 있는 기술을 도입해야 한다. 간접적인 데이터 오픈 정책을 수립한다면 더 많은 사람이 데이터 분석을 통한 활용에 적극 참여해 데이터 가치는 보다 향상될 것이다.
세종대학교 백성욱 디지털콘텐츠학과 교수(sbaik@sejong.ac.kr)
