관련 통계자료 다운로드 엔터프라이즈 데이터 품질 접근 방식 BI/DW 리서치기관인 TDWI는 데이터 품질을 “데이터의 내용과 구조(다양한 기준에 따라)와 함께 △이름 및 주소 정제 △매칭 △저장 △중복 제거 △표준화 △타사 데이터 첨부 등과 같이 데이터를 향상시키는 표준 기술 및 업무 관행”으로 정의했다. 오늘날 기업은 그 어느 때보다 고품질 데이터를 요구한다. 결함 있는 데이터를 의사결정의 근거로 사용함으로써 사업 기회의 손실은 물론 실질적인 금전 피해를 입는 사례가 심심찮게 보고되고 있다.
◇기업 성장에 데이터 품질 확보 필수=비즈니스의 성공을 위해서는 기본 공식이 있다. 바로 비즈니스를 성장시키고 비용을 절감하거나 억제하는 계획에 전략적으로 투자하는 것이다. 경제가 호황일 때 이 공식은 비즈니스를 성장시키는 데 도움이 되지만 불황일 때는 생존의 수단이 된다.
최근 세계적인 경기 침체로 IT 업계 전반에 많은 변화가 있으며, 기업들의 IT 예산은 점차 줄어들고 있다. 하지만 비즈니스 요구는 전혀 줄어들고 있지 않으며, 오히려 기업들은 어려운 때일수록 비즈니스의 요구는 늘어난다고 말한다.
어려운 시기에 기업들은 경쟁의 위협과 급변하는 시장 조건에 신속하게 적응하고 대응하기 위한 활동에 초점을 맞추어야 하고, 또한 침체기를 극복하고 더욱 강한 기업으로 거듭날 수 있도록 기회를 포착해야 한다.
대부분의 기업들은 비즈니스를 더욱 지혜롭게 운영해 나갈 수 있는 다양한 방법을 모색하고 있다. 모든 기업들은 운영 효율화, 비용 절감, 위험 완화로 경쟁에서 승리하기를 바라며, 이를 위한 비즈니스 이니셔티브는 매우 다양하지만 한 가지 공통점은 모두 데이터를 필요로 한다는 것이다.
원하는 시점에 정확한 데이터를 통해 기업은 모든 비즈니스 상황에 즉각적으로 대처하고 적응하며 더 나은 결정을 보다 신속하게 내릴 수 있을 뿐만 아니라, 보다 효율적으로 운영하고 적은 비용으로 더 큰 성과를 거둘 수 있다. 데이터는 시장 주도권의 핵심이며, 궁극적으로는 재정적 성공의 열쇠가 된다. 또한 완전하고 일관성 있는 고품질의 적시성 있는 데이터는 기업이 위기를 기회로 바꿀 수 있도록 도와주는 역할을 한다.
이와 같이 기업은 비용 절감과 운영 효율성 향상을 통한 기업 경쟁력 강화를 위해 그 어느 때보다 신뢰할 수 있는 고품질 데이터를 필요로 한다. 저품질의 데이터는 비즈니스 프로세스 지원, 업계 규정 준수 및 정확한 의사 결정에 큰 악영향을 미치게 된다.
고품질 데이터에 액세스할 수 있는 능력은 오늘날 기업 내 임원들의 주요 관심사가 되어야 한다. 정확성을 더해 주는 고품질 데이터와 신뢰할 수 있는 데이터를 기업 전체에 제공해야 하며, 낮은 품질의 데이터를 사용하는 기업은 큰 대가를 치를 수밖에 없다.
PwC(PricewaterhouseCoopers)의 조사에 따르면 전체 기업 중 75%가 결함 있는 데이터로 인한 큰 문제를 겪었다고 한다. 50% 이상이 내부 조정으로 인한 추가 비용 발생을 경험했으며 33%가 새로운 시스템을 폐기하거나 사용을 연기할 수밖에 없었고, 20%가 계약 조건 또는 서비스 수준을 만족하지 못했다고 한다. 또한 데이터 품질이 낮으면 기업에 매년 엄청난 비용 부담이 발생한다.
데이터 웨어하우징 및 비즈니스 인텔리전스 업계에서 심도 있는 교육 및 리서치를 수행하는 선도업체인 TDWI(The Data Warehousing Institute)는 매년 데이터 품질 문제로 인해 기업이 6000억달러 상당의 가치를 잃고 있는 것으로 예상하고 있다.
결함이 있는 데이터는 공급망 붕괴, 잘못된 비즈니스 결정, 고객 관계 관리의 약화로 이어진다. 또 규정 준수 이니셔티브를 훼손할 수 있으며 잘못된 데이터 사용은 결국 무거운 벌금형 또는 최악의 경우 임원의 법적 처벌로 이어질 수 있다.
가트너의 보고서는 “업계와 규모에 관계없이 모든 기업은 고품질 데이터의 중요성, 그리고 데이터 품질이 보다 광범위한 엔터프라이즈 정보 관리 이니셔티브에 따른 정보 거버넌스 및 관리에서 핵심적인 역할을 하고 있다”고 강조하고 있다.
◇데이터 결함이 비즈니스 피해 초래=정확한 고품질 데이터의 부족이 기업 목표를 달성하는 데 가장 큰 장애물이라는 데 많은 의사결정권자들이 의견을 같이 하고 있다. 하지만 불행하게도 아직 대부분의 대기업에서 저품질의 데이터가 많이 사용되고 있다.
많은 분야에서 기업은 저품질의 데이터를 일상적인 운영상의 난제로 간주하고 있으며, 데이터의 결점을 보완하기 위한 간단하고 복잡한 여러 해결책을 고안하고 있다. 매달 그리고 매분기마다 데이터 분석가가 데이터를 분석, 해석 및 조정하는 작업도 이러한 해결책의 일환이다. 긍정적인 면에서 보자면 사베인-옥슬리법, 바젤 II, 자금세탁 방지법 등의 규제가 늘어남에 따라 데이터 품질은 ‘향상시키면 좋은 것’에서 ‘반드시 향상시켜야 할 것’으로 바뀌게 되었다.
TDWI에서 조사한 기업 중 82.5%는 자사의 데이터가 우수하거나 양호하다고 답변했다. 그러나 실무 조사 팀 중 절반은 실제 데이터 품질이 기업에서 생각하고 있는 것보다 낮다고 답변했다. 이것이 지난 4년간 데이터 품질 계획을 세운 기업의 수가 두 배 늘어난 이유이다.
보고서에 따르면 많은 기업이 규정 준수 문제로 인해 매우 위급한 상황에 처했기 때문에 데이터 품질을 향상시키는 조치를 취한 것으로 나타난다. 또 TDWI 보고서는 응답 기업 중 3분의 2가 데이터 품질 문제에 대해 연구한 반면 그 이점에 대해 연구한 기업은 50% 미만이라고 전했다. 이는 데이터 품질 이니셔티브가 적극적으로 추진되는 것이 아니라 책임 수행을 위해 의무적으로 구현되고 있다는 사실을 잘 보여 준다.
고품질 데이터를 작성하고 유지 관리하는 것은 전략적 비즈니스 이니셔티브의 성공과 기업의 장기적인 경쟁력에 매우 중요하다. 경영진은 IT 조직이 제공하는 즉각적인 고품질 데이터를 통해 전략적인 의사 결정을 내린다. 부정확하거나 불완전하거나 혹은 일관되지 않거나 오래된 데이터를 사용하면 경영진이 정확한 정보를 통해 신속한 의사 결정을 내릴 수가 없게 된다.
고품질 데이터는 의사 결정권자가 확신을 가지고 보다 빠르게 대응하고 즉각적인 결정을 내릴 수 있도록 해준다. 요약하면 데이터 품질이 높을 경우 기업은 자사의 정보를 믿고 신속한 의사 결정을 내릴 수 있다. 또한 고품질 데이터는 프로젝트 위험을 최소화하고 비용을 절감한다. 데이터 통합 프로젝트 초반부터 고품질 데이터를 유지하면 프로젝트 지연을 방지할 수 있으며 데이터의 중복을 제거하는 것만으로도 큰 절감 효과를 얻을 수 있다.
더구나 고품질 데이터는 IT 운영을 간소화하고 제한된 리소스를 최대한 활용한다. 즉, 예상치 못한 소스 데이터의 결함을 확인하는 데 필요한 리소스는 줄어들고 매출 증대 프로젝트에 참여하는 리소스는 늘어난다
TDWI의 조사에 따르면 응답자가 뽑은 고품질 데이터의 세 가지 주요 이점은 분석 시스템에 대한 높은 신뢰감(76%), 데이터 조정에 소비되는 시간 감소(70%), 한 눈에 모든 정보를 파악할 수 있는 능력(69%)이라고 한다.
◇엔터프라이즈 DI 관점에서 데이터 품질 접근=많은 기업들이 현재 이들 여러 다양한 유형의 시스템을 복합적으로 사용하고 있다는 점에서 고품질 데이터의 확보는 매우 중요하다. 엔터프라이즈 데이터의 타당성에 대한 확신을 갖기 위해서는 정보는 물론 데이터 흐름과 관계에 대한 감사 및 추적 기능이 지원되어야 한다.
여러 가지 이유로 데이터 품질은 엔터프라이즈 데이터 통합 아키텍처의 일부로서 보다 효과적으로 관리되며 이에 따라 데이터 모니터링 및 관리가 데이터 액세스, 통합, 전환 및 제공에 이르는 수명 주기를 보완하게 된다.
데이터 품질을 향상시키는 것은 지속적인 주기로서 접근해야 한다. 먼저 ①데이터 프로파일링은 전반적인 데이터 품질 전략의 범위를 결정하는 데 있어 중요한 요소이다. 이는 매우 복잡한 데이터 체계의 내용, 구조 및 품질을 파악하고 데이터 소스와 타깃 애플리케이션 간의 감춰진 불일치 및 비호환성을 발견할 수 있도록 지원한다.
②측정 지표를 확립하고 목표를 정의하는 것은 IT 부서와 현업 부서가 수행한 데이터 품질 프로젝트의 결과를 평가할 수 있도록 지원한다. ③데이터 품질 규칙의 설계 및 구축은 데이터 품질을 위한 목표 및 기준을 정의하고 측정할 수 있도록 한다. ④데이터 품질 규칙 및 활동(프로파일링, 정제/매칭, 자동 수정 및 관리)을 데이터 통합 프로세스와 결합하는 것은 데이터 자산의 정확성과 가치를 높이는 데 있어 매우 중요하다.
⑤예외 검토 및 규칙 개선 작업은 기업 전반의 주요 관계자와 임원들이 데이터 품질을 문서화하고 공식 데이터 품질 프로그램에 착수하는 데 참여하는 것이 중요하다. 그리고 마지막으로 대시보드와 실시간 통보를 통한 ⑥사전 예방적 데이터 품질 모니터링 역시 빠르게 표준 베스트 프랙티스로 자리잡고 있다.
정확한 최신 데이터는 많은 기업들의 업무 운영에서 필수적인 역할을 담당하고 있다. 신뢰할 수 있는 고품질 데이터에 기초한 일관된 제공 및 조치를 수행할 수 있도록 돕는 툴이 없다면 기업이 실제 운영 건전성 상태를 평가하는 것은 물론 효과적으로 사업을 영위하고 경쟁하는 데 필요한 조치를 수행하는 능력이 저하될 수 있다.
엔터프라이즈 데이터 품질 접근 방식을 채택함으로써 기업은 훌륭한 데이터 품질을 바탕으로 이를 통해 확보되는 비즈니스 통찰력으로 인해 보다 신속하게 비즈니스를 실행에 옮길 수 있으며, 때때로 그 속도가 수배 이상 빨라지게 된다.
데이터에 대한 신뢰도가 높아짐에 따라 임원, 관리자 및 업무 부서 사용자들은 보다 세분화되고 정확한 의사결정이 가능해지고, 새로운 패턴과 트렌드를 신속하게 인식하고 조치를 취할 수 있으며, 완벽한 데이터 품질 관리는 기업의 다양한 규제 준수와 위험 완화를 위해 특히 중요하다.
데이터 품질 솔루션은 기존 엔터프라이즈 데이터 통합 프로세스 및 솔루션과 동기화될 수 있으며, 이에 따라 측정 지표에 기초한 접근 방식으로 모든 유형의 마스터 데이터에 액세스하고 관리할 수 있다. 따라서 일반적으로 고객 데이터의 정제로 제한돼 있는 전통적인 데이터 품질 관리 방법보다 훨씬 우수한 성과를 거두게 된다.
이와 같은 엔터프라이즈 레벨에서의 성공적인 데이터 품질 구현은 경쟁 우위와 시장 주도권을 확보할 수 있는 역량을 강화시킴으로써 기업이 데이터 품질 프로젝트에 대한 투자를 통해 ROI를 극대화할 수 있도록 지원할 것이다.
◆데이터 품질 관리 사례
#1. 텍사스 회계 감사원은 50가지의 다양한 세금을 관리하고 연간 380만 달러의 세금 환급을 처리하는 텍사스주의 주요 세금징수기관이다.
체납자를 파악하기 위해 감사과에서는 납세자 기록을 미국 관세청 등 외부 소스의 정보와 대조하는 노력을 기울였다. 그러나 다양한 데이터베이스에 있는 정보 형식의 차이, 맞춤법 오류 및 축약과 같은 피할 수 없는 오류, 불완전한 정보 등으로 인해 일치 항목의 누락 및 잘못된 일치 항목이 발생했다. 이러한 결과로 감사과는 적절한 등록을 마쳤으나 등록이 누락된 회사를 가려내기 위해 시간과 리소스를 소비해야 했다.
감사과에서는 데이터 품질 프로젝트를 통해 ID 데이터를 검색, 발견, 매칭 및 그룹화했다. 이 시스템은 감사관에게 단서를 제공하는데 사용된다. 두 명의 통계학자가 매치 항목에 점수를 매기는 시스템을 개발하여 성공적인 매치를 위한 가장 높은 가능성을 제공하였다. 이 점수에 따라 감사관은 후속 조치를 취하고 문서 작업을 시작한다.
이러한 방식은 더욱 효율적일 뿐만 아니라 시간과 리소스를 더욱 합리적으로 사용할 수 있게 하고 훨씬 많은 이익을 가져다주고 있다. 이 시스템을 사용하여 텍사스 회계 감사원은 텍사스주에 연간 7000만달러의 추가 이익을 창출해내고 있다. 결과적으로 이 프로젝트는 텍사스주에 총 5억달러가 넘는 수익을 제공했다.
#2. 잉글랜드와 웨일스에 있는 43개 경찰국 중 하나는 영국 지역 경찰국 간에 합의한 데이터 품질 표준에 따라 데이터 품질을 향상시킬 필요가 있었다. 이러한 데이터 품질 향상의 목표는 경찰이 사건을 수사하고 범죄를 감시할 때 정확한 적시 정보를 다량 제공 받을 수 있도록 하기 위함이다.
경찰국의 정보 시스템 팀은 여러 가지 범죄 명단 및 차량 시스템의 데이터를 분석, 표준화, 개선하기 위한 강력한 플랫폼 개발에 착수했다. 경찰국은 데이터 품질 플랫폼을 도입하여 기존 정보 시스템을 강화하는 한편, 장기적으로도 데이터 품질 표준을 준수할 수 있도록 데이터 품질 프로젝트를 진행했다. 그 결과, 데이터 품질 메트릭스를 정의하고 범죄 소탕 정보를 모니터링, 정제 및 강화함으로써 경찰관에게 적시에 정확한 정보를 제공할 수 있게 됐다. 또한 정보 시스템의 관리 부담을 줄이고 그만큼의 인력을 다른 업무에 재배치할 수 있게 되었다.
#3. 한 주요 글로벌 투자 은행의 엔터프라이즈 정보관리팀은 회사 데이터베이스의 여러 곳에 복제되어 있는 중복 기록을 해결하는 것이 큰 과제였다. 이 팀은 기관 투자자에게 정보를 제공하는 보고서를 작성하고 34만개가 넘는 고객사와 잠재 고객사의 목록을 관리하는 책임을 맡고 있었다. 이는 곧 100만 개가 넘는 개별 계정을 의미하며, 이 중에 다수는 여러 해외 지점의 많은 연락처를 가지고 있었다.
이 투자은행은 중복된 기록을 식별하기 위한 데이터 품질 관리 프로젝트를 통해 매우 긍정적인 결과를 얻었다. 중복된 개체를 파악하는 데 걸리는 시간이 몇 시간에서 15분으로 줄었고, 매칭된 개체를 외부 목록에서 확인하는 시간이 3시간에서 10분으로 줄었다. 뿐만 아니라 정확성도 향상되었으며, 기록을 확인하는 데 걸리는 많은 시간과 비용을 절감할 수 있었다.
이외에도 세계적인 비즈니스 커뮤니케이션 소프트웨어, 시스템 및 서비스 공급업체는 잘못된 과금 주소를 수정함으로써 200만달러의 효과를 거뒀다. 또한 청구가 이루어져야 하는데도 이루어지지 않았던 영역을 파악하는 데도 도움이 되었다.
◆강석균 대표는
2006년부터 한국인포매티카 지사장으로 근무하고 있으며, 이전에는 한국IBM에서 시스템사업본부 영업팀장 및 스토리지사업본부 본부장을, 베니트에서 비즈니스솔루션사업본부장을 역임했다.
skkang@informatica.com
박현선기자 hspark@etnews.co.kr
