기업의 인공지능(AI) 전환 경쟁이 개념검증(PoC)과 모델 도입을 넘어 실제 업무 적용과 성과를 만드는 단계로 이동하고 있다. 생성형 AI와 AI 에이전트를 만드는 기술 장벽은 빠르게 낮아졌지만 이를 기업 내부 업무에 안정적으로 적용하고 전사로 확산하는 것은 여전히 쉽지 않다.
AI 도입 초기에는 어떤 대규모언어모델(LLM)을 선택하고 사내 데이터를 어떻게 연결할지가 주요 관심사였다. 최근에는 상용·오픈소스 모델 선택지가 다양해지고 에이전트 개발도 쉬워지면서 기업 AI 경쟁의 무게중심이 기술 도입 자체보다 실제 업무 적용과 운영, 비용 절감·생산성 향상 등 성과를 만들어내는 방향으로 옮겨가고 있다.
12일 업계에 따르면 성공적인 AI 전환(AX)을 위해 기술과 기업의 비즈니스 목표, 실제 업무를 수행하는 현업 조직이 함께 움직여야 한다는 주장이 나오고 있다. 기술적으로 완성도 높은 AI를 구축하더라도 현업에서 활용하지 않거나 투자 대비 효과를 측정하지 못하면 전사 확산으로 이어지기 어렵다는 것이다.
AX에 필요한 요소도 모델을 넘어 넓어지고 있다. AI가 구동되는 인프라뿐 아니라 기업 데이터를 AI가 활용할 수 있는 형태로 정비하고, 에이전트를 업무 시스템과 연결하면서 보안·거버넌스와 성과 측정까지 함께 설계해야 한다는 주장이다.
이처럼 AX가 실제 업무와 성과로 이어지지 못하는 원인으로 기술 자체보다 기업 전략과 손익, 내부 역량 간 '정렬(Alignment)'의 문제라는 지적도 나온다.
베스핀글로벌 관계자는 “에이전트를 만드는 것은 이제 누구나 할 수 있지만 문제는 그 에이전트가 회사의 전략과 손익, 내부 역량과 따로 움직인다는 것”이라며 “전략은 있는데 현업이 쓰지 않거나, 잘 작동해도 얼마의 가치를 만들었는지 모르는 일이 발생한다”고 말했다.
결국 성공적인 AX를 위해서는 AI 도입 자체보다 실제 업무에 안착시키기 위한 운영체계를 먼저 갖춰야 한다는 분석이다. 기업마다 기존 IT 환경과 데이터 수준, 규제 요건이 다른 만큼 전사 시스템을 한꺼번에 바꾸기보다 효과가 큰 업무부터 시작해 운영 경험을 축적하고 적용 범위를 넓히는 방식이 현실적인 접근으로 꼽힌다.
베스핀글로벌은 5000여 고객사의 클라우드 운영과 200여건의 AX 프로젝트 경험을 바탕으로 이를 '7 Layer AI Stack'으로 체계화했다. △인프라 △모델·LLMOps △데이터 △온톨로지 △에이전트 구축·운영 △거버넌스·컴플라이언스·보안 △성과·투자대비효과(ROI) 관리 등 7개 계층으로 구성된 실행 프레임워크다.
하단에는 AI를 구동하는 인프라와 모델, 데이터를 두고 그 위에서 온톨로지로 기업 데이터의 관계와 맥락을 연결한 뒤 AI 에이전트가 실제 업무를 수행하도록 한다. 상단에서는 보안과 거버넌스를 통제하고 최종적으로 비용 절감과 생산성 향상 등 비즈니스 성과를 측정한다.
특히 데이터와 에이전트 사이에 온톨로지 계층을 별도로 둔 점도 특징이다. 데이터가 정리돼 있어도 같은 용어가 부서마다 다르게 쓰이거나 업무 규칙과 데이터 간 관계가 정의돼 있지 않으면 AI가 업무 맥락을 정확히 이해하기 어렵다. 온톨로지는 이처럼 흩어진 데이터와 업무 개념 간 관계를 정의해 AI가 기업의 업무 맥락을 이해하도록 돕는다.
다만 모든 기업이 7개 영역을 한꺼번에 구축하는 방식은 아니다. 기존 AI 인프라와 모델을 확보한 기업은 데이터 정비나 에이전트 구축부터 시작할 수 있고, 금융·공공처럼 규제 요건이 강한 곳은 거버넌스와 보안을 우선할 수 있다.
특히 이 과정에서 현업 참여가 AX 성패를 가르는 또 다른 요소로 꼽힌다. 경영진이나 IT 조직이 AI 적용 업무를 일방적으로 정하기보다 실제 업무를 수행하는 구성원이 자동화가 필요한 업무를 직접 발굴해야 활용도를 높일 수 있다는 것이다.
실제 베스핀글로벌은 전사 AX 로드맵을 먼저 내려보내는(톱다운) 대신, 직원들에게 자신의 업무 가운데 AI로 자동화하고 싶은 일을 직접 찾도록 하는 방식으로 AX를 진행했다. 그 결과 900개 이상의 업무 인벤토리를 발굴했고 751개 이상의 AI 에이전트를 설계·구축했다. 현재 이 가운데 511개 에이전트가 실제 업무에서 매일 가동되고 있다.
단순히 많은 에이전트를 구축하는 데 그치지 않고 실제 운영 단계까지 연결했다는 점이 두드러졌다. AI 기술을 먼저 도입한 뒤 활용처를 찾는 방식이 아니라 현업의 문제에서 출발해 필요한 AI를 만들고, 효과가 확인된 업무를 중심으로 적용 범위를 넓힌 것이다.
실제 성과도 나타나기 시작했다. 베스핀글로벌에 따르면 지난 6월 기준 전사 12개 조직에서 AI 에이전트를 활용하고 있으며 450명 기준 약 16.6억원의 연간 비용을 절감했다. 업무 시간 절감은 연간 3만6800시간 이상이다. 휴먼에러도 99% 감소했고 예외·오류율은 5% 미만으로 관리하고 있다. 업무 처리 이력도 모두 데이터로 축적한다.
AI 에이전트가 실제 업무에 투입되기 시작하면서 AX 경쟁의 다음 단계는 성과 측정이 될 전망이다. 얼마나 많은 에이전트를 만들었는지보다 실제 업무시간과 비용을 얼마나 줄이고 생산성을 높였는지를 증명해야 한다는 것이다.
AI 활용이 확대되면서 에이전트의 성과와 비용을 체계적으로 관리하려는 움직임도 이어지고 있다.
베스핀글로벌은 AI 에이전트를 단순 시스템이 아닌 '디지털 인력'으로 보고 핵심성과지표(KPI)와 서비스수준협약(SLA), 비용과 성과 목표를 부여해 관리하는 '에이전트 워크포스 매니지먼트(AWM)'를 하반기 중 출시할 예정이다. 토큰 사용량과 그래픽처리장치(GPU) 비용 등 기술적 운영 지표를 비용 절감, 자동화율, 인력 환산 효과 등 경영 지표로 연결하는 방식이다.
결국 기업 AX의 성패는 특정 모델이나 기술 자체보다 이를 실제 업무에 얼마나 정교하게 연결하고 지속적으로 운영해 성과로 만들 수 있느냐에서 갈릴 전망이다.
베스핀글로벌 관계자는 “에이전트를 돌리는 경쟁은 빠르게 상향 평준화될 것”이라며 “앞으로 중요한 것은 에이전트가 만든 가치를 측정하고 증명하는 것이며, 운영 지표가 경영의 언어로 환산되지 않으면 의미가 없다”고 말했다.
강성전 기자 castlekang@etnews.com
