[테마특강] 데이터웨어하우징 구축 방안

장동인

서울대 공대 원자핵공학 전공

미국 서던캘리포니아대 석사 컴퓨터사이언스전공

비자카드, EDS, 어메리칸항공정보서비스, 독일 아마데우스, 오라클 본사 기술컨설턴트

현재 한국 오라클 이사

오라클 본사의 데이터웨어하우징 구축 프로젝트 참여

올해 국내 정보관리업계의 커다란 흐름은 「인트라넷」과 「데이터웨어하우징」의 부상이다. 그 가운데 데이터웨어하우징은 최근 기업들의 관심이 높아지고 있지만 그 개념과 도입방법, 혜택 등에 대해서는 정확히 알지 못하고 있다.

데이터웨어하우징은 기업의 운영계 시스템에서 축적된 각종 자료를 주제별로 통합해 별도의 프로그램을 사용하지 않고도 여러 각도에서 분석할 수 있는 시스템으로 정의할 수 있다. 예컨대 고객정보는 여러개의 운영시스템에 분산되어 있을 수 있다. 이처럼 여러 곳에 흩어져 있는 고객정보를 「고객」이라는 하나의 주제로 통합하여 구축한 시스템이 데이터웨어하우징이다.

데이터웨어하우징은 운영계 시스템 내부에 구축할 수도 있으나 대부분 운영계 시스템이 과부하 상태인데다 데이터의 액세스 형태가 주로 읽기에 국한되어 있어 운영시스템과 별도로 구축한다.

데이터웨어하우징을 통해 얻을 수 있는 장점은 여러가지다. 우선 정형화된 장표를 5초에서 30초 이내에 추출하여 다차원 분석할 수 있다는 것이다. 또 비정형화된 장표(Adhoc Query)라 할지라도 데이터 모델링을 통해 5분 이내에 볼 수 있다.

이와 함께 데이터를 분석하고 예측하는 방식만 정해지면 이를 즉각적으로 계산하여 예측할 수 있게 한다는 점도 장점이다. 이런 결과들을 통해 기업들은 우선 전산실 장표처리요원을 대폭 감축, 이들 요원을 생산성 높은 새로운 일로 재배치할 수 있다.

기존 운영계 시스템이 많은 대기업에서는 지금까지 시스템별로 장표를 만들 수 있었지만 이를 통합한 장표는 만들기가 불가능하거나 힘들었다. 그러나 데이터웨어하우징은 이를 가능하게 한다. 생산관리 시스템, 원가계산 시스템, 판매관리 시스템이 각각 별도로 설치되어 있다면 어느 품목이 원가 얼마에, 얼마나 만들어져서 어느 정도 팔리는가를 파악하는 것이 어렵거나 때로는 불가능했다. 데이터웨어하우징에서는 이러한 정보가 모두 한 시스템에 들어 있으므로 통합된 장표를 즉각적으로 얻을 수 있다. 또 기업의 중요한 경영결과를 즉시 분석해 한눈에 파악할 수 있으므로 이를 참고하여 의사결정에 도움을 받을 수 있다.

마케팅과 기획 측면에서 지금까지 기업은 같은 계통의 일에 상당 기간동안 종사해온 전문가들이 과거 경험에 의한 「감」을 가지고 새로운 상품개발, 광고전략, 판매전략 등을 수립해 왔다. 데이터웨어하우징은 이러한 전략수립에 도움을 주는 과학적인 수치를 제시함으로써 보다 효과적인 전략을 기획하고 의사결정하는 데 기여할 수 있는 것이다.

한 예로 과거 5년간 판촉전략을 분석하고 상품별, 판매장별, 월별 매출추이를 다각적으로 분석해 보면 앞으로의 판촉전략을 어떻게 수립하는 것이 좋겠다는 것이 나오게 된다. 이런 기능들은 영업전략팀, 마케팅 부서에서는 없어서는 안될 귀중한 자료가 된다.

또 하나의 이득은 고객관리를 과학적으로 할 수 있다는 것이다. 모든 기업에는 고객이 존재한다. 고객을 어떻게 관리하느냐가 기업운영의 핵심이라고 할 수 있다. 데이터웨어하우징를 구축하면 고객의 성향을 분석한다든가, 한걸음 나아가 데이터베이스 마케팅을 할 수 있다. 데이터웨어하우징을 통해 월별, 성별, 연령별 고객과 매장별, 상품별 매출추이를 분석해보면 어느 매장에서 특정한 고객이 특정한 상품을 특정한 기간에 잘 구매하므로 이런 고객의 주소를 데이터웨어하우징에서 바로 출력해 메일을 보낼 수 있는 등 보다 효율적인 마케팅 활동을 할 수 있게 되는 것이다. 이처럼 데이터웨어하우징을 구축하면 기존 장표처리를 효율적으로 할 수 있을 뿐 아니라 사용방법에 따라 상당히 많은 이익을 가져다 준다는 것을 알 수 있다.

기업체의 전산실 업무 중 약 30%는 기술이 별로 필요하지 않는 장표처리에 몰두하고 있다. 이를 기반으로 데이터웨어하우징 도입효과를 계산해 보면 전산실 인력이 1백명이고 장표처리 업무가 30%라면 30명의 1년 정도 봉급과 데이터웨어하우징의 구축비용, 교육비용, 유지보수비용 등을 합해 비교하면 금방 나온다. 미국의 한 조사에 따르면 데이터웨어하우징 구축비용이 평균 1억∼2억달러 정도이며 구축기간이 6개월 정도 걸린다는 것이다. 하지만 데이터웨어하우징 구축에 투자한 비용을 18개월만에 회수할 수 있다는 것이다.

이처럼 데이터웨어하우징의 이점이 많은데도 아직까지 국내 기업들은 실제 구축에 대해 망설이며 관망하는 자세를 보이고 있다. 기업들이 데이터웨어하우징 구축을 망설이는 이유는 여러가지가 있지만 무엇보다도 아직까지 구체적인 효용성을 확신할 수 없다는 점을 꼽을 수 있다. 즉 이 기술이 한때 유행으로 흘러가고 마는 기술이 아니냐 하는 우려이다. 아직까지 해외에서도 뚜렷한 사용자를 찾을 수 없을 정도로 낯설고 새로운 개념의 기술이기 때문이다. 전문가들은 데이터웨어하우징 기술이 전산실에서 꼭 필요한 기술이라고 말하고 있다. 정보를 얼마나 많이, 그리고 빨리 확보하느냐가 경쟁력을 좌우하는 정보시대에서 과거와 같은 주먹구구식 경영정보로는 경쟁에서 살아남을 수 없기 때문이라는 것이다. 게다가 앞으로 기술이 발전하면 데이터웨어하우징의 폭과 깊이를 더할 뿐이지 대체할 기술은 없다는 성급한 전망도 하고 있다. 현재 미국내 1천대 기업 가운데 95%가 데이터웨어하우징를 구축했거나 구축을 검토하고 있는 상황을 감안하면 이제 데이터웨어하우징 구축은 시대의 흐름이라고 생각할 수 있다.

둘째, 현재 자사의 전산기술 수준으로 데이터웨어하우징을 구축할 수 있겠느냐는 의문 때문이다. 데이터웨어하우징은 신기술이라기보다는 오래전부터 존재해왔던 기술로 실제 기술적인 문제는 그다지 염려할 수준은 아니다. 과거와 다른 점이라면 종전 테이프에 담았던 트랜잭션 데이터를 디스크에 담을 수 있다는 점이다. 기존 운영계 시스템에서 한 테이블당 데이터를 저장할 수 있는 건수가 수천건에 불과하지만 데이터웨어하우징에서는 보통 3∼7년간의 데이터 보관이 가능해 운영계 시스템에 비해 30배 이상의 데이터를 보유할 수 있는 것이다. 데이터웨어하우징의 핵심기술은 이같은 대용량의 데이터를 처리하는 방법에 있는 것이다.

셋째, 얼마나 빨리 투자효과를 거둘 수 있는냐도 문제다. 외국의 구축사례를 통해 볼 때 약 12개월에서 18개월 이내에 투자비용을 환수할 수 있다는 것이 일반적이라고 할 수 있다.

데이터웨어하우징은 어떤 분야에 구축하는 게 옳은가. 이는 쉽지 않은 문제다. 기업들의 경영형태를 고려할 때 고객관리와 매출관리 부문부터 데이터웨어하우징을 구축하고 이후 점진적으로 확대해 전사적인 데이터웨어하우징을 구축하는 것이 가장 효과적이다.

주의해야 할 점은 처음부터 전사적 데이터웨어하우징 구축을 시도하지 말라는 것이다. 초기부터 전사적인 형태로 구축할 경우 구축기간이 길어 효과가 눈에 보이지 않고 실패할 확률이 많기 때문이다. 따라서 주제별로 나누어 프로젝트를 여러 단계로 구축해나가야 한다.

데이터웨어하우징을 구축하기 위해서는 우선 데이터웨어하우징 도입팀을 구성해야 한다. 이 팀에는 반드시 사용자그룹을 대표하는 현업 전문가와 전산실 전문가가 함께 있어야 한다. 데이터웨어하우징은 현업에서 사용하기 때문에 전산 전문가만 팀을 구성하면 무슨 데이터를 볼 것인가보다 어떻게 볼 것인가라는 기술적인 면에 치중하게 되어 시스템을 구축하더라도 알맹이 없는 시스템이 되거나 구축시 설계변경을 많이 해야 한다.

구축팀이 구성되었으면 데이터웨어하우징에 대한 전반적인 지식을 습득해야 한다. 벤더들을 불러놓고 어떤 벤더의 솔루션이 회사에 적합한지 판단할 수 있어야 하기 때문이다. 이와함께 데이터웨어하우징을 구축할 때 그 기대치를 정확히 평가하는 기준을 마련해야 한다. 이러한 기준은 기업 실정에 맞게 세워야 하는 것이다. 이러한 준비작업이 철저할수록 데이터웨어하우징의 성공확률이 높아진다.

그 다음 중요한 것은 데이터웨어하우징 구축에 대한 소속기업 중역의 후원을 받도록 해야 한다. 데이터웨어하우징 구축에 대한 결정은 중역이 최종적으로 내리기 때문에 중역의 후원을 조기에 받는 것이 데이터웨어하우징 구축 프로젝트를 성사시키는 데 중요한 역할을 한다. 중역은 어떤 테크놀로지를 사용하여 시스템을 구축하는가에 대해서는 관심이 없다. 중역의 관심은 그 기업의 현실에 비추어볼 때 투자효과가 언제 얼마만큼 나는가, 비용절감을 어느 정도 할 수 있는가, 얼마나 생산성이 높아지는가 등을 수치로 따져보는 것이다. 따라서 관련자료를 구체적으로 제시하는 것이 바람직하다. 하지만 이러한 자료를, 그것도 객관적인 자료를 구하기란 거의 불가능하다. 외국에 데이터웨어하우징이 구축된 곳을 방문해도 이러한 숫자는 공개하지 않기 때문이다. 결국 이것은 내부에서 정확히 분석할 수밖에 없다. 데이터웨어하우징 구축 기획 때부터 이러한 자료를 철저한 준비하고 이를 토대로 구축하는 것이 가장 효과적이다.

데이터웨어하우징은 어느 기업이든 도입해야 하는 중요한 시스템이다. 데이터웨어하우징 구축으로 나타나는 효과가 확실하고 투자한 비용이 1년 이내에 회수 가능하기 때문이다. 그러나 데이터웨어하우징 도입은 장기적인 계획을 세워 신중하면서도 단계적으로 구축해야 한다.