전통적인 패키지 소프트웨어(SW)는 납품과 검수를 마치는 시점에 완성된다. 요구사항에 명시된 기능이 정해진 대로 작동하는지 확인하고 나면, 이후의 일은 운영 중에 발견되는 결함을 고치고 필요한 기능을 조금씩 보완하는 수준에 머무르기 때문이다. 그러나 데이터를 학습해 확률적으로 판단하는 인공지능(AI)는 사정이 전혀 다르다. AI는 납품하는 날부터 서서히 낡아 가는데, 세상이 바뀌고 데이터의 성격이 달라지면 어제까지 정확하던 모델이 오늘은 그럴듯한 오답을 내놓기 시작한다. 시스템은 겉보기에 아무 문제 없이 돌아가고 있지만, 그 안에서 답의 품질은 누구도 모르게 조금씩 무너져 내리고 있는 셈이다.
이런 AI가 지금 공공부문에 빠르게 들어오고 있다. 한국인공지능·소프트웨어산업협회(KOSA)가 나라장터 본공고 가운데 사업총액 1억원 이상인 공공 SW 사업을 살펴본 결과, 사업명에 AI 관련 키워드가 들어간 사업은 2022년 91건에서 2025년 222건으로 늘었고 전체 공공 SW 사업에서 차지하는 비중도 1.2%에서 3.8%로 커졌다. 올해는 상반기에만 202건이 발주되면서 그 비중이 9.5%까지 올라섰으니, 'AI 발전과 신뢰 기반 조성 등에 관한 기본법'(이하 AI기본법) 시행과 정부의 인공지능 행동계획에 힘입어 이 흐름은 앞으로 한층 빨라질 것으로 보인다.
그런데 늘어난 사업들을 하나하나 들여다보면 예산과 관심이 대부분 '구축'에 쏠려 있다는 공통점이 눈에 들어온다. 시스템을 만들어 서비스를 오픈하는 순간까지는 공을 들이지만 그 이후의 운영은 별도의 사업으로 다뤄지지 않는 경우가 적지 않다. 구축이 끝나면 발주기관이 운영을 직접 맡거나 기존 정보시스템 유지보수 사업에 AI를 함께 묶어 넘기는 일이 흔한데, 그 밑에는 일단 시스템이 돌아가기 시작했으니 운영은 크게 어려울 것이 없다는 인식이 깔려 있다.
이는 오랫동안 공공 정보화를 이끌어 온 시스템 통합(SI) 사업의 관행을 AI에도 그대로 적용한 데서 비롯된 측면이 크다. 하지만 AI 사업에서 구축은 출발선에 가깝고, 실제 성과는 모델이 현장의 데이터를 만나 성능을 검증받고 오류를 걸러내며 조금씩 정교해지는 운영 과정에서 만들어진다. 씨앗을 심어 놓고 물 주기를 멈추면 싹이 제대로 자랄 리 없듯, 구축만 해 두고 운영을 소홀히 하는 AI 사업이 기대한 성과를 내기는 어렵다.
AI 운영이 기존 SW 유지보수와 가장 크게 다른 점은, 아무런 결함이 없어도 성능이 저절로 떨어진다는 데 있다. SW 유지보수는 버그를 고치고 기능을 개선하는 것이 중심이어서 시스템이 안정되면 손댈 일도 함께 줄어들지만 AI는 입력 데이터의 특성이 시간이 지남에 따라 달라지는 이른바 '데이터 드리프트' 때문에 가만히 두어도 정확도가 낮아진다. 법령이 개정되고 민원 유형이 바뀌고 새로운 용어가 생겨날 때마다 모델은 학습한 적 없는 현실과 마주하게 되고, 그만큼 엇나간 답을 내놓을 가능성도 커진다.
이 때문에 AI 운영에는 기존 유지보수 과업 목록에서 찾아보기 어려운 일들이 상시로 따라붙는다. 모델의 성능을 지표로 꾸준히 모니터링하다가 기준 아래로 떨어지면 데이터를 보강해 재학습하거나 튜닝해야 하고, 생성형 AI라면 환각을 탐지해 걸러내는 체계와 답변의 근거가 되는 지식베이스를 최신 상태로 유지하는 일도 빼놓을 수 없다. 외부 기반 모델의 버전이 바뀌거나 지원이 종료되면 서비스 전반을 다시 검증해야 하며, 편향성과 보안 취약점에 대한 주기적인 점검과 쓰는 만큼 늘어나는 그래픽처리장치(GPU) 임차료·응용프로그램인터페이스(API) 호출료 같은 비용 관리도 운영의 영역에 속한다. 여기에 AI기본법이 요구하는 신뢰성과 안전성 역시 한 차례 점검으로 끝낼 수 있는 일이 아니어서, 운영 기간 내내 꾸준히 관리하고 입증해 나가야 하는 과제다.
지난 본 칼럼에서 AI가 코드를 빠르게 만들어 주더라도 그 결과물을 검증하는 데에는 오히려 더 숙련된 인력이 필요하다는 점을 짚은 바 있는데, 운영 역시 다르지 않다. 시스템이 정상적으로 작동하는 것처럼 보이면서도 틀린 답을 내놓는 상황을 알아차리고 바로잡으려면, 데이터와 모델을 함께 이해하는 전문 인력이 운영 현장을 꼭 지키고 있어야 한다.
운영을 소홀히 한 대가는 생각보다 크고 오래간다. 전문 역량 없이 운영되는 AI는 성능이 떨어져도 이를 제때 알아차리기 어렵고, 그사이 국민이 체감하는 서비스 품질은 눈에 띄게 낮아진다. 그러다 몇 년 뒤 성능이 기대에 못 미친다는 이유로 다시 구축 사업이 발주되는 일이 되풀이되기도 하는데, 이 과정에서 차곡차곡 쌓였어야 할 운영 데이터와 개선 경험은 어디에도 남지 않고 예산만 거듭 투입되는 악순환으로 이어진다.
산업 생태계의 관점에서 보아도 문제는 가볍지 않다. 기업이 꾸준히 성장하려면 구축으로 시작해 운영을 맡으며 현장 경험을 쌓고, 그 경험을 바탕으로 고도화 사업까지 이어 가는 선순환 구조가 필요하다. 안정적인 운영 사업은 기업이 숙련 인력을 유지하고 다음 기술에 투자할 수 있게 해 주는 기반이기도 하다. 하지만 구축 한 번으로 관계가 끝나는 지금의 구조에서는 기업이 현장을 가장 잘 알게 된 시점에 오히려 현장을 떠나야 하고, 우리 AI 기업들은 매번 새 사업을 찾아 나서는 일회성 수주에서 벗어나기 어렵다.
이제는 AI 사업의 운영을 구축 이후에 따라오는 부수적인 업무로 볼 것이 아니라, 기존 SW 유지보수와 구별되는 하나의 사업으로서 그 정의를 정립하고 운영 단계에서 수행해야 할 세부 과업을 구체화하는 체계를 마련할 필요가 있다. 아울러 전문성을 갖춘 기업이 운영을 안정적으로 맡아 수행할 수 있도록, AI 운영이 고정적인 사업으로 자리 잡을 수 있는 여건도 함께 갖춰져야 한다.
운영의 중요성은 사업자를 선정하는 평가 단계에서부터 반영되어야 한다. AI 특화 평가기준을 마련해 생성형 AI와 AI 에이전트, 멀티모달 AI 등 기술 발전에 따라 새롭게 등장할 사업 유형과 평가요소에 맞추어 평가기준을 꾸준히 보완·고도화해 나가야 한다.
이를 통해 공공 AI 사업의 특성을 보다 충실하게 반영하는 평가체계와 운영체계가 함께 마련된다면, 제안서의 기술력을 보다 객관적이고 일관성 있게 평가할 수 있을 뿐만 아니라 발주기관의 사업 성과 제고와 AI 기술의 책임 있는 활용, 나아가 공공 AI 사업의 품질 향상과 신뢰성 확보에도 기여할 것으로 기대된다.
AI는 한 번 만들어 납품하면 끝나는 물건이라기보다 현장에서 꾸준히 길러 내야 하는 시스템에 가깝다. 구축이 AI의 몸을 만드는 일이라면, 운영은 그 몸이 제대로 판단하고 제 역할을 하도록 키워 가는 일이라고 할 수 있다. 공공 AI가 국민의 신뢰를 얻는 일도, 우리 AI 기업들이 지속 가능한 성장 기반을 갖추는 일도 결국 운영을 어떻게 하느냐에 달려 있는 만큼, 이제는 AI 사업의 무게중심을 구축에서 운영으로 옮겨 가야 할 때다.
조준희 한국인공지능·소프트웨어산업협회(KOSA) 협회장 jhjoh@sw.or.kr
〈필자〉 2001년 유라클을 창업해 25년 동안 대표이사직을 수행하고 있는 AI·SW 기업가다. 2021년부터 법정단체 한국인공지능·소프트웨어산업협회 제18·19·20대 회장을 연임하며 AI·SW산업 발전과 생태계 개선을 위해 앞장서고 있다. 국가인공지능전략위원회 산업AX생태계분과 위원장, 피지컬 AI 얼라이언스 의장, K-AI 파트너십 의장 등 산업 발전을 위해 활발한 정책활동을 하고 있다.
