비씨카드는 AI 모델 크기를 줄이면서 업무 처리 속도는 3배 가까이 향상시킨 기술을 개발해 적용했다고 19일 밝혔다.
비씨카드는 AI 성능은 최대한 유지하면서 모델이 사용하는 숫자를 단순하게 만들기 위해 '양자화' 기술을 적용했다. 기술 적용 후 모델 구성 숫자의 정밀도를 16비트에서 4비트로 낮춰 크기와 연산의 부담을 줄였다.
실제 비씨카드가 310억개의 파라미터를 가진 AI 모델에 해당 기술을 적용한 결과, 모델 용량이 62.5GB에서 19.5GB로 69% 감소했다. 반면 동일한 그래픽처리장치(GPU) 환경에서의 한국어 생성 처리량은 초당 205토큰에서 530토큰으로 3배 가까이 증가했고, 평균 응답 완료 시간도 24초에서 9초로 단축됐다.
모델 용량은 줄었지만 AI 성능은 대부분 유지됐다. 비씨카드가 원본 모델과 경량화된 모델을 대상으로 한국어 이해 추론 능력 등 8종류의 성능 평가를 진행한 결과 원본 대비 98.7% 수준의 성능을 유지했다.
비씨카드 기술은 최근 과학기술정보통신부가 주관하고 제3자 기관이 직접 채점하는 'K-AI 리더보드' 내 한국어 평가 대형 모델 부문에서 종합 10위, 한국어 지식 평가 항목에서는 7위를 기록했다. K-AI 리더보드에 등재된 모델 중 4비트 양자화를 명시한 모델은 비씨카드가 유일하다.
기술 특허 출원 절차도 진행하고 있다. 특허 진행 기술은 AI 경량화 과정에서 나타나는 한국어 성능 저하를 최소화하기 위해 한국어와 영어의 특성을 반영해 압축 기준을 잡고 구조에 맞춰 압축 강도를 세밀하게 조정하는 기술 2건이다.
실제 사내 업무에도 적용시켰다. 비씨카드가 7월부터 사내 금융 특화 생성형 AI 플랫폼 'BCGPT'와 'MOAI'에 경량화 모델을 적용한 결과 용량이 줄어들었지만 GPU 한 대에서 동시 처리 가능한 업무량은 증가했다.
오성수 비씨카드 상무는 "AI 모델의 성능을 유지하면서 비용과 속도를 함께 개선하는 것이 실제 업무 활용의 핵심"이라며 "이번 경량화 기술을 사내 AI 서비스에 적극 적용하고 외부에도 공개해 보다 효율적인 AI 활용 환경을 만드는 데 기여할 것"이라고 말했다.
김신영 기자 spicyzero@etnews.com
