파인 튜닝 LLM 대비 성능 14%↑…법률 활용·상담 가능
광주과학기술원(GIST·총장 임기철)은 이흥노 전기전자컴퓨터공학과 교수(ITRC 블록체인 지능융합센터장)팀이 법률 분야에 특화된 '검색 증강 생성(RAG) 프레임워크 기술'을 개발했다고 27일 밝혔다.
이 기술은 모르는 것을 인공지능(AI)이 스스로 묻고 찾아봄으로써 답변의 신뢰성과 정확도를 높인다는 점이 가장 큰 특징이다. 기존 AI 기반 법률 추론에서 발생하는 할루시네이션(잘못된 정보, 환각) 문제를 획기적으로 줄이며 정확도와 투명성, 신뢰성을 높여 취약 계층을 위한 법률 지원뿐 아니라 법률 실무 전반에 폭넓게 활용될 수 있을 것으로 기대한다.
거대언오어델(LLM) 기반 법률 AI 시스템은 58~82%의 할루시네이션이 발생한다. AI가 정확히 검색한 법률 정보를 반영하는 RAG 기술이 주목받고 있지만 기존 RAG 방식도 정보 검색의 한계와 법률 문맥에 대한 적용력 부족이라는 문제를 안고 있다.
이를 해결하기 위해 연구팀은 법률 데이터를 효율적으로 검색하고 활용하는 동시에 답변의 신뢰성과 정확도를 높인 법률 분야에 최적화된 '레걸 쿼리(Legal Query) RAG(LQ-RAG)' 프레임워크를 개발했다.
LQ-RAG 모델은 광범위한 법률 텍스트를 활용해 임베딩 생성 LLM과 응답 생성 LLM을 각각 파인 튜닝 했다. 방대한 판례와 법령 자료를 학습함으로써 전문 법률 용어와 문서 구조를 심층적으로 이해할 수 있도록 했으며, 실제 법률 질의응답 데이터를 기반으로 생성 모델을 재학습해 더욱 정교한 답변 능력을 확보했다. 이 구조는 할루시네이션을 효과적으로 최대한 줄이고, 도메인별 정확도를 개선하며, 복잡한 질문에도 명확하고 수준 높은 답변을 제공한다. 재귀적 피드백 과정을 통해 성능을 지속적으로 개선할 수 있도록 했다.
LQ-RAG는 추론 과정에서 에이전트 기반의 반복적 개선 메커니즘을 명시적으로 적용해 최적의 답변을 도출한다. 생성된 답변은 평가 에이전트를 통해 맥락의 적절성과 사실적 정확성을 기준으로 평가한다.AI가 생성한 답변을 지속적으로 개선하는 재귀적 피드백 메커니즘을 통해 신뢰성을 높였다.
연구팀은 법률 문서를 체계적으로 임베딩해 고차원 벡터로 변환하고, 이를 바탕으로 AI가 보다 정확한 법률 정보를 제공할 수 있도록 했다. 중국의 생성형 AI '딥시크(DeepSeek)-R1'과 연구팀의 LQ-RAG를 비교하면 두 모델 모두 더 정확하고 정교한 답변을 제공하기 위해 고유한 기법을 사용하지만, 응답을 개선하는 방식에서 차이를 보인다.
딥시크-R1은 강화 학습(RL)을 기반으로 사고 능력을 발전시키며, 연쇄적 추론 과정을 통해 답변의 질을 향상시킨다. 스스로 생성한 답변을 검토하고 개선하는 기능도 수행한다. 단일 모델 내에서 재귀적으로 응답을 개선하는 반면, LQ-RAG는 다중 에이전트 협력 방식을 통해 답변을 개선한다. 두 모델 모두 사람이 직접 피드백을 제공하지 않고, 자체적인 최적화 과정을 거친다는 공통점이 있다.
LQ-RAG를 적용한 결과, 기존 RAG 시스템 대비 법률 문서 검색 및 응답 정확도가 23% 향상됐으며 파인 튜닝된 LLM과 비교해도 14% 높은 성능을 기록했다. 이는 고급 RAG 모듈과 피드백 메커니즘이 결합된 도메인 특화 LLM이 법률 실무에서 AI의 신뢰성과 성능을 크게 높일 수 있음을 보여 준다.
연구팀은 계약서 작성과 준법 감시 등 법률 업무의 효율성을 높이기 위한 에이전트 기반 법률 워크플로우를 개발해 법률 전문가들이 핵심 업무에 집중할 수 있도록 지원할 계획이다.
이흥노 교수는 “이 기술을 법률 문서 분석, 계약서 작성 자동화, 준법 감시 등 다양한 법률 업무에 적용할 계획”이라며 “RAG와 다중 에이전트 협업 기술을 결합해 신뢰성 높은 법률 AI 시스템을 구축하고, 보다 정확한 법률 분석과 신뢰할 수 있는 AI 기반 법률 솔루션을 제공할 것”이라고 말했다.
연구팀은 이번 연구를 과학기술정보통신부와 정보통신기획평가원(IITP)의 대학ICT연구센터(ITRC) 지원으로 수행했다.
광주=김한식 기자 hskim@etnews.com
