노타, 두베와 금융권 폐쇄망 기반 AI 코딩 에이전트 지원

Photo Image

노타가 금융 정보기술(IT) 기업 두베와 금융권 특화 온프레미스 AI 코딩 에이전트 사업을 위한 최적화 거대언어모델(LLM)과 서버 공급 계약을 체결하고 납품을 완료했다고 16일 밝혔다.

두베의 AI 코딩 에이전트에 맞춰 AI 모델 경량화부터 추론·서빙 환경 최적화, 서버 구성까지 통합 공급이다. 동일 그래픽처리장치(GPU) 환경에서 최적화 적용 전 대비 분당 처리 요청 수를 최대 95% 높이고, 첫 답변 대기시간을 절반 이하로 줄이는 성능 개선을 확인했다.

이를 바탕으로 외부 데이터 전송이 제한되는 금융권 등 보안 중심 기업 환경에서 AI 에이전트 도입을 지원할 계획이다.

두베는 금융기관에 AI 코딩 에이전트를 공급하고 있다. 개발 요건 분석, 정리부터 화면, 인터페이스 등 개발 관련 전 업무와 고객사 개발 환경에 맞춘 코딩 규칙과 사내 라이브러리 반영을 지원한다.

금융권에서는 폐쇄망을 이용해야 해 클라우드 기반 AI 코딩 도구 도입에 제약이 있다. 노타와 두베가 함께 제공하는 온프레미스 AI 코딩 에이전트는 고객사 내부 서버에서 LLM을 실행하는 방식으로, 외부 AI API 호출 없이도 AI 기반 개발 업무를 지원한다.

노타는 대량의 코드와 개발 지침을 반복 처리하는 코딩 에이전트의 특성에 맞춰 최적화를 적용했다. 양자화 기술로 LLM 메모리 요구량을 줄이고 답변을 생성하는 추론 과정과 여러 요청을 처리하는 서빙 환경을 최적화했다. 분당 처리 요청 수는 약 58~95% 증가했고 대기시간은 절반 이하로 줄었다.

채명수 노타 대표는 “이번 계약은 노타의 AI 모델 경량화 및 추론·서빙 최적화 기술을 실제 기업용 AI 애플리케이션과 결합해 공급한다는 점에서 의미가 크다”며 “금융권처럼 보안과 인프라 운영 제약이 높은 환경에서도 AI 에이전트를 효율적으로 활용할 수 있도록 지원해 나가겠다”고 말했다.

한편 노타는 최근 노타는 하이퍼엑셀과 LLM 최적화 기술 공급 후속 계약을 체결했다. 하이퍼엑셀 LLM 추론 전용 반도체 '베르다 LPU'에 LLM과 연산 최적화 기술을 공급한다.


박종진 기자 truth@etnews.com

  • 놓치면 아쉬운 정보AD

브랜드 뉴스룸