거대언어모델(LLM)에 쌓인 데이터와 별개 외부 데이터를 이용해 답변 정확도를 높여주는 기술이다. 캐나다 인공지능(AI) 기업 코히어(Cohere) 패트릭 루이스 박사가 2020년 발간한 논문에서 처음 사용한 것으로 알려졌다.
LLM의 최대 단점은 허위 정보를 제공하거나, 과거 정보를 최신 정보처럼 속여 제공하는 '환각현상(할루시네이션)'이다. 이 기술을 기반으로 한 챗봇은 신뢰할 수 없는 답변을 내놓으며 검색자를 혼란에 빠트린다.
RAG는 이런 단점을 보완하는 역할을 한다. 유저 질문(프롬프트)에 맞는 정확한 정보를 LLM에게 함께 제공해 LLM이 근거가 없거나 관련 없는 답변을 생성하는 경향을 크게 줄여준다. 특히 답변을 내놓기 전에 언론사 뉴스나 별도 지식 베이스를 참고하기 때문에 전문성도 갖췄다.
또 LLM 답변에 대한 추가 설명이나 세부 정보를 직접 확인할 수 있고 필요할 경우 소스 문서도 직접 찾아볼 수 있다. LLM이 오래전 학습된 데이터에 의존하지 않도록 해줌으로써 답변을 최신화해 주는 역할을 한다.
생성형 AI 시장에 뛰어든 기업들도 앞다퉈 RAG를 도입 중이다. 베스핀글로벌은 자사 대화형 AI 플랫폼 '헬프나우(HelpNow)'에 RAG를 도입했다. 온라인 법률 플랫폼 '로톡' 운영사는 판례 제공 서비스인 '빅케이스 GPT'에 RAG를 적용했다. LG유플러스는 최근 내놓은 챗 에이전트 플랫폼 4종에 모두 RAG를 활용했다.
남궁경 기자 nkk@etnews.com
