최근 수년간 수많은 기업이 오픈소스 대규모언어모델(LLM)과 검색 증강 생성(RAG) 기술을 앞세운 인공지능(AI) 솔루션을 다급하게 도입했다. 신생 인공지능전환(AX) 기업들은 “이제 전자결재도, 문서관리도, 지식 관리 시스템(KMS)도 다 필요 없고 AI 하나면 된다”고 호기롭게 시작했다. 그러나 지금, 현장에선 블랙박스 같은 AI의 엉뚱한 답변, 끝없는 튜닝 작업, 떨어지는 품질 만족도 속에서 도입을 시도한 기업들과 공공기관들이 적잖이 당황하며 최근 공통적으로 내뱉는 몇마디가 있다.
“블랙박스들을 가지고 이리저리 튜닝하고 에이전트 만들고 백방의 노력을 했는데, 정확도, 환각(할루시네이션), 만족도, 각종 학습 비용과 시간 등 난제들이 쌓이다 보니 밤을 새워도 해결할 수가 없네!”
지난 10여년간 기업 정보기술(IT)의 트렌드는 '문서 중앙화'였다. 모든 자료를 한곳에 끌어모아 보관하면 언제든 찾아 쓸 수 있으니 지식 자산의 축적에는 꽤 효과가 있었다. 그런데 대한민국 대표 모 대기업의 경우 6년간 구글 워크스페이스(GWS)를 도입해 중앙문서저장소(구글 드라이브)에 무려 6억건이 넘는 문서 지식을 쌓았다.
문제는 본격적인 AX를 추진하면서 발생했다. 6억건의 데이터 중복, 최신성을 알 수 없는 가비지 데이터, 정제되지 않은 문서들이 AX 추진의 발목을 잡았다. 학습 비용은 천문학적으로 치솟고, 처리 시간은 지연됐으며, LLM의 정확도는 기대 이하였다. 글로벌 빅테크와 빅데이터 전문 기업들조차 혀를 내두르던 이 난제는, 결국 데이터를 단순히 '쌓아놓는 것'이 아니라 '지식화'하는 데이터·지식 정제 구조화 및 거버넌스 체계(DCS)를 거치고 나서야 비로소 해결될 수 있었다.
문서 중앙화라는 과거의 유산이 지식 거버넌스 없이 AI 시대를 맞이했을 때 거대한 '허들'이 되는 아이러니한 일이다. 어찌 보면 AI 추진 과정에서 게임 그래픽 처리용이던 엔비디아가 부상하고, 이후 멀티턴 연산의 필요성으로 삼성·SK하이닉스가 연이어 부상된 뜻밖의 나비효과가 떠오르게 하는 현상이다.
자체 LLM을 기반으로 전사 AX를 추진하던 대기업 역시 비슷한 진통을 겪었다. 도입 첫해에는 기존 KMS 내 지식은행 데이터를 API 형태로 단순히 'AI에 쏴달라'고 요청했다. 그러나 KMS외의 각각의 레거시시스템들에서 취합된 문서들을 처리하는 방식은 곧 한계에 봉착했다.
한 번의 깊은 고초를 겪은 후, 그들은 표준화·구조화된 AI 전용 데이터 집결소체계를 만들고 OKF(Open Knowledge Format)와 같은 사내 문서,지식들의 표준화,구조화된 데이터 형태로 KMS 데이터를 재구축해 달라고 다시 요청해 왔다. 이는 유통사, 금융사, 정부기관등 여러 고객사들이 KMS의 지식데이타를 응용프로그램 인터페이스(API)로 구조화해 연동해달라는 연이은 요청사항과 동일하다. AI 엔진만으로는 절대 해결할 수 없는 '양질의 구조화,표준화된 데이터 공급원'이 절실해졌고 또한 핵심지식데이터에 대한 거버넌스 체계화가 필요하기 때문이다.
N은행, W은행, H은행, L통신사 등 금융·통신권이 AI 콘택트센터(AICC)를 대규모로 구축하면서도 별도의 '콜센터 전용 KMS'를 필수적으로 두는 이유 역시 명확하다. 대출 금리나 약관 정보에서 단 1%의 AI 환각도 허용할 수 없는 금융권 특유의 무관용 원칙, 그리고 수시로 바뀌는 상품 지식의 엄격한 권한 및 생애주기 관리 때문이다.
최근 에너지 회사, 정부 산하 기관, 안마의자 회사, 증권사 등 신규 고객들이 AI 열풍 속에서도 '순수 KMS'를 새롭게 도입하거나 강화하는 것은, AI가 날뛰기 전에 학습할 '정본(Single Source of Truth)'을 관리하는 거버넌스 체계가 선행돼야 함을 뼈저리게 깨달았기 때문일 것이다.
건물 지을 때 토목공사를 하고 건물을 올리는 것과 같이, AX를 하기 위해서는 핵심 지식 및 문서에 대한 체계적인 관리 체계가 확립돼어야 한다.
현장의 진짜 전문가들은 느껴왔던것 같다. 체계적인 지식 분류, 표준화, 구조화, 그리고 철저한 보안 권한이 녹아있는 '지식 거버넌스' 없이는 그 어떤 뛰어난 LLM도 '치매 걸린 천재'에 불과하다는 사실을 말이다.
AI라는 화려한 엔진에 연료를 공급하는 것은 결국 기업이 오랜 시간 다듬어온 '지식(Knowledge)'이다. 무작위 문서 쌓기에서 벗어나 기업의 핵심 지식을 체계적으로 구조화하고 관리가 되는 KMS가 AX의 기본이며, 여기에 맥락 지식을 가미하는 것. 그것이 바로 AX 성공을 위해 반드시 선행돼야 할 가장 기본적인 '토목공사'다.
김학훈 날리지큐브 대표 khhkhh@kcube.co.kr
