[ET단상] AI 데이터를 위한 문서중앙화의 조건

Photo Image
고동현 파수 AI 상무

인공지능전환(AX)이 모든 이야기의 중심이 되면서, 문서중앙화가 다시 중요한 화두로 떠올랐다. 성공적인 AX를 위해서는 인공지능(AI)에 활용하는 데이터 관리가 필수기 때문이다. 과거에는 문서 통제 및 자산화의 수단으로 문서중앙화를 도입했다면, 이제는 AI 활용을 위한 목적으로 문서중앙화를 찾는다. 목적이 달라진 만큼, 고려해야 하는 요소도 달라져야 한다. AX를 위한 문서중앙화에서는 무엇이 중요할까.

현재 상황을 먼저 보자. 초기부터 발빠르게 AI 시스템 구축에 나선 기업들은 이미 기술검증(POC)나 파일럿 단계를 지났다. 중앙 서버나 클라우드 등에 사내 데이터를 관리하면서 문서 정책 및 거버넌스 체계를 이미 갖춰 놓았던 조직들은 이 단계를 '상대적으로' 수월하게 넘겼다. 그렇지 않은 조직은 데이터 정비부터 해야 했다. 사내 데이터는 검색증강생성(RAG)이나 파인튜닝, AI 트레이닝, AI에이전트 검색 기반으로 활용해 조직의 특성과 목적에 맞는 AI 시스템을 구축하는 데 핵심 역할을 하기 때문이다.

어찌됐건 이 과정을 거쳐 AI 시스템을 구축했는데, 막상 결과물이 만족스럽지 않다거나 전사 등으로 확산하기는 쉽지 않겠다는 평가가 심심찮게 들린다. 원인은 다양하지만 공통적으로 지적되는 것 하나가 '데이터의 양과 질의 부족'이다. 데이터의 양이 부족하면 AI가 참고할 수 있는 지식의 범위가 좁아지고, AI를 활용할 수 있는 범위도 제한적이 된다. 또 데이터 품질이 낮으면 잘못되거나 부정확한 답변으로 신뢰도가 떨어진다.

이 문제는 정책 등을 통해 선별적으로 중앙에서 관리하는 데이터만 AI 시스템 구축에 사용한 경우 쉽게 발생한다. 중앙의 데이터는 임직원의 PC나 로컬드라이브 등 엔드포인트에 산재한 문서에 비하면 일부분에 지나지 않는다. 업로드를 미뤄 놓은 최신 버전의 문서, 이메일이나 협업툴 등을 통해 로컬로 다운로드 받은 자료 등을 포함해, 대부분의 문서가 전혀 활용되지 못하고 있다는 뜻이다.

문서중앙화가 다시 주목받는 이유가 여기에 있다. PC에서 생성한 문서도 강제적으로 중앙에 저장하는 문서중앙화를 도입함으로써 로컬 문서도 모두 자산화해 통합 관리하겠다는 것이다. 문서중앙화를 도입하면 데이터의 '양' 문제는 해결되는 것처럼 보인다. 하지만 '질'도 그럴까. 현실적으로, 문서중앙화가 꼭 데이터 품질을 보장하는 것은 아니다. 제대로 된 문서중앙화, 즉 문서가상화가 필요한 이유다.

문서가상화는 PC에서 문서가 생성될 때부터 고유의 식별코드가 부여돼, 다수 사용자가 어디에 분산저장하든 간에 하나의 파일로 인식 및 관리가 가능한 방식이다. 문서가 수정되면 누가 어디에 저장했든 최신 버전으로 자동동기화가 가능하다. 수많은 파일을 하나로 인식해 모든 버전을 메타정보와 함께 활용하므로 'AI를 위한 SSOT(Single Source of Truth:단일 진실 공급원)'를 확보할 수 있다. 또 중복 데이터를 최소화해 불필요한 문서까지 학습하거나 검색하지 않아도 되니, 잘못된 정보가 들어갈 위험이 적고 시간이나 AI 자원을 낭비하지도 않아도 된다.

'데이터 리니지(data lineage)'도 문서중앙화를 위해 반드시 고려해야 하는 요소다. 문서의 소유자, 생성과 편집 이력, 저장 위치 및 이동 경로 등의 모든 흐름을 추적 및 관리하는 체계를 뜻하는 데이터 리니지는 AI를 위한 데이터의 신뢰성과 품질을 관리하는 핵심 방안이다. AI를 위한 문서중앙화는 PC에서 관리되는 문서들의 데이터 리니지를 확보해 문서의 시작부터 끝까지 문서의 모든 메타정보와 사용 이력을 추적함으로써 데이터 결과에 대한 신뢰도를 확보하는 것은 물론, 잘못된 경우 이를 바로 잡을 수 있어야 한다.

AI는 무궁무진한 가능성으로 매일매일 발전해 나간다. 가까운 미래도 단정하기 어렵다. 예측불가한 변화의 AI 시대에는 유연하고 발빠르게 대응할 수 있는 기반을 마련하는 것이 무엇보다 중요하다. 조직의 자산인 데이터를 언제든 활용이 가능하도록 AI-Ready 상태로 정비해 준비하고 있어야, 원하는 시점에 원하는 것을 할 수 있다. 현명한 데이터 자산화와 AI를 위한 차세대 문서중앙화를 다시 생각해 볼 때다.

고동현 파수 AI 상무 dhgo@fasoo.ai

  • 놓치면 아쉬운 정보AD