학습형 인덱스·강화학습 결합해 병목 현상 선제 대응
와일드 터키, 읽기 1.52배·입력 2.01배 처리량
단국대가 인공지능(AI)을 활용해 대용량 데이터의 쓰기 지연을 99.98% 줄이고 검색 처리량을 최대 2배 높이는 기술을 개발했다.
단국대는 최종무 소프트웨어학과 교수 연구팀의 논문 2편이 데이터베이스·데이터 관리 분야 국제학술대회 'VLDB 2026' 정규논문으로 채택됐다고 7일 밝혔다.
연구팀은 AI·클라우드 서비스 확산으로 데이터 처리량이 급증하면서 발생하는 저장장치 병목을 해결하는 데 초점을 맞췄다. 데이터베이스 내부 상태를 분석해 입력량을 조절하고, 데이터 위치를 예측해 검색 속도를 높이는 두 가지 기술을 제시했다.
논문 'How Much Can RocksDB Chew? Achieving Near-Zero Write Stalls with Sustainable RocksDB'에는 저장 엔진 '록스DB(RocksDB)'의 쓰기 지연을 개선한 'S-록스DB' 기술을 담았다.
록스DB는 새 데이터가 들어오는 속도를 내부 정리·재배치 작업이 따라가지 못하면 쓰기 요청을 늦추거나 일시적으로 중단한다. 연구팀은 강화학습을 적용해 시스템의 처리 여력을 실시간으로 파악하고, 병목이 발생하기 전에 데이터 입력량을 조절하도록 했다.
기존 록스DB와 메모리 용량, 백그라운드 작업 수를 동일하게 맞춘 24시간 연속 쓰기 실험에서 지연된 요청은 6430만건에서 1만206건으로 감소했다. 처리량도 초당 9.48메가바이트(MB)에서 9.66MB로 높아졌다.
또 다른 논문 'Rethinking Learned Index and LSM-tree Integration'은 데이터 위치를 예측하는 학습형 인덱스 기반 저장 시스템 '와일드 터키(Wild Turkey)'를 제안했다.
와일드 터키는 데이터 변경이 잦은 구간에는 작은 저장 단위를, 오래 보관하는 구간에는 큰 저장 단위를 배치한다. 데이터 분포에 따라 인덱스의 예측 오차 범위도 자동 조절해 검색과 쓰기 성능을 함께 끌어올렸다.
실험 결과 와일드 터키의 처리량은 기존 시스템 '버번(Bourbon)'보다 쓰기 작업에서 최대 2.01배, 읽기 작업에서 최대 1.52배 높았다. 쓰기 지연 시간은 36%, 데이터 정리·병합 작업은 78.4% 줄었다. 와일드 터키 논문
이번 연구는 과학기술정보통신부 재원으로 정보통신기획평가원(IITP)의 소프트웨어 스타랩 사업 지원을 받아 수행했다.
최종무 교수는 “단국대가 축적한 AI 기반 데이터 관리 기술의 경쟁력을 인정받은 성과”라며 “대규모 데이터를 처리하는 클라우드·AI 서비스와 산업 현장에 폭넓게 활용할 수 있을 것”이라고 말했다.
용인=김동성 기자 estar@etnews.com
