포털 다음의 실시간 인공지능(AI) 검색 요약 서비스 'AI 오버뷰'가 국산 AI 반도체와 국산 거대언어모델(LLM) 기반으로 운영된다. 국내 첫 '풀스택 소버린 AI' 상용화 사례다.
업스테이지, 퓨리오사AI, 다음 운영사 AZX는 15일 각사 대표가 참여하는 온라인 대담을 통해 퓨리오사AI의 신경망처리장치(NPU) '레니게이드(RNGD)'를 활용해 업스테이지의 LLM '솔라'를 탑재한 다음의 'AI 오버뷰' 서비스를 상용화 한 사례를 공개했다.
AI 오버뷰는 이용자가 검색창에 질문을 입력하면 검색 엔진이 관련 문서를 찾고 솔라 모델이 이를 실시간으로 요약해 제공하는 서비스다. 여러 링크를 일일이 열어보지 않아도 AI가 핵심 내용을 먼저 정리해 보여준다.
이번 3사 협력은 국산 AI 반도체, 국산 LLM, 국내 대형 서비스가 하나의 스택으로 연결돼 실제 운영하는 첫 소버린 AI 상용화 사례라는 점에서 의미가 크다는게 회사측 설명이다.
이건수 AXZ 대표는 “AI 요약을 개발하면서 LLM의 고질적인 환각(할루시네이션) 현상을 제어해 정확한 최신 정보만 전달할 수 있도록 하네스 엔지니어링을 고도화했다”며 “기존 키워드 검색과 벡터 검색을 결합한 하이브리드 서치를 이용해 솔라 LLM에게 가장 관련성 높은 최신 정보를 전달하고 있다”고 설명했다.
AI 추론은 퓨리오사AI의 레니게이드 NPU가 담당한다. 퓨리오사AI는 최적화 된 설계를 통해 엔비디아 H200과 대등한 성능을 내면서도 50% 이상의 추론 비용절감 효과를 낼 수 있다고 강조했다.
백준호 퓨리오사AI 대표는 “현재 서버 3개 노드, 24개 칩으로 하루 약 5억 개 토큰을 처리하고 있다”며 “레니게이드는 AI 오버뷰에서 솔라 모델의 추론을 가속하는 역할을 맡고 있다”고 설명했다.
백 대표는 “AI 서비스가 확대될수록 토큰 사용량이 급격히 증가하는데 NPU를 활용하면 전성비(전력 대비 성능)와 가성비(가격 대비 성능) 측면에서 GPU 대비 유리하다”며 “현재 총소유비용(TCO) 기준 최소 1.5배 수준의 비용 절감 효과를 내고 있으며 최적화가 완료되면 토큰 비용을 절반 이상 낮출 수 있을 것”이라고 말했다.
3사는 향후 AI 에이전트 서비스까지 협력을 확대한다는 계획이다. AXZ는 AI 오버뷰 서비스를 단순 요약을 넘어 쇼핑, 맛집 등 버티컬 서비스로 확장할 계획이다. 또 다음 사용자에게 '1인 1에이전트' 보급도 준비하고 있다. 예를 들어 삼성전자 주식을 보유한 이용자가 직접 검색하지 않아도 뉴스와 기업 정보, 경쟁사 동향을 요약해 전달해주는 식이다.
김성훈 업스테이지 대표는 “많은 이용자가 서비스를 사용할수록 서비스 품질이 개선되고 다시 더 많은 사용자를 확보하는 선순환 구조가 이뤄지는 만큼 (국산 소버린 AI 생태계 구축에) 많은 관심을 바란다”고 밝혔다.
백 대표도 “국제정세를 고려한 전략적 관점에서도 소버린 AI 반도체와 모델, 서비스의 결합이 필요하다”면서 “기업들의 AX 과정에서 국산 NPU 사용을 적극 고려해달라”고 말했다.
정현정 기자 iam@etnews.com
