정부출연연구기관 최고의 슈퍼컴퓨터를 보유하고 있는 한국과학기술정보연구원(KISTI·원장 조영화) 6층 지식정보센터 시스템개발팀(팀장 윤화묵). 우리 말에 기반을 둔 국내 유일한 정보검색관리시스템인 ‘크리스탈’을 연구하고 있는 곳이다.
크리스탈 연구진은 모두 8명. 모두가 프로그래밍 업무에만 10년 이상 매달려온 SW분야 베테랑들이다. 이들에게는 ‘우리 것’에 대한 확신이 있다. 최근 인기를 끌고 있는 구글이나 야후의 웹문서 전용 검색엔진 등과 비교해도 검색속도나 정확도면에서 뒤질 게 없는 검색 엔진이 바로 크리스탈이라는 주장이다.
“프로그래밍이 된 시스템의 에러(버그)를 잡기 위해서는 15만 라인을 일일이 모니터로 넘겨가며 체크하는 일이 가장 힘이 듭니다. 엄청난 인내력도 요구하지만 웬만한 감만으로는 며칠 밤을 새워도 찾지 못하죠.”
이 팀의 맏형 격인 서정현 선임 연구원의 말이다. 서 연구원의 연구원 경력은 18년, 지난 94년 처음 크리스탈 개발에 착수할 때부터 업무를 도맡아 프로그래밍에 관한 한 ‘도사’라는 이칭을 달고 다닌다. 모니터를 보지 않고도 프로그램 라인 한줄 한줄을 떠올릴 정도다.
이 팀이 개발한 크리스탈은 현재 우리나라 국사관련 자료의 데이터베이스(DB)화에도 채택된다. 국사편찬위원회를 비롯한 서울대 규장각, 경상대 문천각, 민족문화추진회, 한국국학진흥원, 한국학중앙연구원 등 6개의 인문 기관이 이 엔진을 사용한다.
지난해 말 국사편찬위원회가 시작한 ‘사이버 조선왕조실록’ 서비스는 접속량 폭주에 시달릴 만큼 히트상품이 됐다. 불과 1∼2년 전까지만 해도 인터넷 고문서 검색이 거의 무용지물이었던 것에 비하면 격세지감이라는 것이 ‘아이디어맨’ 김진숙 연구원의 자랑이다.
지난 95년부터 크리스탈 개발에 나섰던 ‘해결사’ 최윤수 선임연구원은 “고문서는 우리 말이 워낙 독특해 자료 하나 검색하는 데 4∼5분씩 걸리는 건 보통이고, 엉뚱한 내용이 검색되기 일쑤였다”며 “지금은 3000만 건에 달하는 자료를 대상으로 평균 2초 이내에 검색할 수 있는 세계 정상 수준에 도달했다”고 자평한다.
크리스탈 연구진은 완벽한 언어체계를 갖추기 위해 국사편찬 기관으로부터 다중음가사전, 한국역사용어특수사전 등을 제공받고 인문정보학 전문가인 김현 박사(한국학중앙연구원 교수)의 자문을 얻어 시스템을 개발해 왔다. 검색서비스 도중 생기는 문제점은 그때그때 맞춤 수정·보완 했다.
더욱이 고문서는 하나 하나가 커다란 의미를 갖기 때문에 한 문서라도 누락시키지 않도록 재현율을 높이는 것이 중요한데, 이럴 때 지금까지는 검색속도가 매우 느려진다는 한계가 있었다. 크리스탈은 이 문제 역시 확장된 낱자색인 방식으로 해결, 재현율과 속도 두 마리의 토끼를 모두 잡았다.
박남수 국사편찬위원회 박사는 “너무 편리하다”며 “검색시간이나 정확성, 재현율이 이전과는 비교할 수 없을만큼 뛰어난데다 역사자료에 대한 접근성이 좋아져 그만큼 뛰어난 연구결과도 많이 나올 것”이라고 칭찬을 아끼지 않는다.
사용자가 제한적인 탓에 고문서 검색은 사실상 ‘돈’은 안 된다. 구글 등 다국적 기업이나 중소규모의 국내 민간기업은 경제성이 없으니 뛰어들 리도 만무하다. 정부 또한 정보검색 관리 시스템의 기초연구인 의미기반 연구과제가 지난 97년 종료됐다는 이후로 업그레이드 예산을 투입한 적이 없다.
당시 연구에 대해 연구진들은 “기초 투자가 절실하다”며 “오로지 응용연구개발에만 예산을 배정하는 정부가 야속하다”고 주장한다.
윤화묵 팀장은 “앞으로도 한국역사를 비롯한 국악, 고미술 등 이른바 돈은 되지 않지만 국가차원에서 꼭 해야만 하는 연구는 지원이 계속되어야 한다”고 힘주어 말했다.
대전=박희범기자@전자신문, hbpark@ 대전=박희범기자@전자신문, hbpark@
