기업의 인공지능(AI) 전환이 기술 도입을 넘어 실제 업무에 적용하는 단계로 접어들고 있다. AI가 직접 업무를 수행하는 에이전트로 진화하면서 기업들은 데이터 보호와 보안, 업무 단위 AI 적용, 비용 절감, 프라이빗 AI 인프라 등 '실행 단계'의 해법을 제시했다.
양정모 아이에이클라우드 상무는 18일 서울 삼성동 웨스틴 파르나스 호텔에서 열린 'CAIO 서밋 2026'에서 “예전에는 좋은 AI 모델을 쓰려면 여러 장의 GPU가 필요했지만, 이제는 작은 모델만으로도 다양한 업무를 처리할 수 있다”고 밝혔다.
이어 “기업·기관들은 이제 평상시에 반복적으로 처리하는 업무는 최신 SLM만으로도 충분히 커버할 수 있다”면서 기업 내부에 AI를 직접 운영하는 프라이빗 인프라 구축 방안을 소개했다.
아이에이클라우드는 그래픽처리장치·신경망처리장치(GPU·NPU)와 서버·스토리지, 전력·냉각, AI 운영 플랫폼을 하나로 묶은 모듈형 AI 데이터센터 '네오큐브(NeoCube)'를 제시했다. 네오큐브는 GPU·NPU 자원을 가상화하고 LLM 등 AI 모델을 배포·운영할 수 있도록 지원한다.
AI 적용 범위가 넓어지면서 사내 데이터 활용과 보안도 중요한 과제로 떠올랐다. AI가 사내 문서와 메일 등 업무 데이터에 직접 접근하는 만큼 생산성과 함께 데이터 보호와 통제 체계를 갖춰야 한다는 것이다.
박종천 지란지교소프트 최고AI책임자(CAIO)는 “AI가 질문에 답하는 단계를 넘어 실제 업무를 수행하는 에이전트로 진화하면서 기업이 일하는 방식도 모두 달라져야 한다”며 “개인의 생산성이 아니라 조직의 생산성으로 가야 하고, AI 도구를 쓰는 조직에서 AI가 일하는 조직으로 바뀌어야 한다”고 강조했다.
지란지교소프트는 업무를 수행하는 '오피스에이전트'와 정보보호를 담당하는 '오피스키퍼'를 결합해 AI 업무환경과 보안을 함께 구현해야 한다고 강조했다. 문서·메일·메신저 등 업무 데이터를 AI와 연결하는 동시에 개인정보와 기밀정보 유출을 막는 보안 체계까지 함께 갖추겠다는 구상이다.
파수AI는 AI 에이전트 시대에는 기존 보안 체계만으로 기업 정보를 보호하기 어렵다고 진단했다.
최우선 파수AI 팀장은 “AI 보안은 하나의 솔루션으로 해결할 수 있는 문제가 아니라 데이터 보호부터 접근 경로, 도구·공급망, 가시성과 거버넌스까지 여러 층에서 막아야 한다”고 설명했다.
파수AI는 이를 위해 AI 보안을 다층 구조로 나누고 각 영역에 맞는 솔루션을 배치하는 전략을 제시했다.
파수AI는 민감정보 식별부터 AI의 데이터 접근 경로 통제, 사내 시스템 연동 구간 관리, AI 사용 현황 파악까지 단계별로 보안 체계를 구성했다. 특히 '파수 AI 레이더'를 통해 허가받지 않은 AI 사용을 찾아내고 보안정책과 데이터 유출 방지, 비용 관리까지 한 번에 관리하도록 했다.
다올티에스는 AI를 처음부터 조직 전체에 적용하기보다 효과를 낼 수 있는 업무 단위에서 먼저 검증하는 접근이 중요하다고 강조했다.
김정희 다올티에스 AI아키텍처팀 이사는 “AI 도입의 성패는 규모가 아니라 순서”라며 “핵심 업무 한 건부터 시작해 효과를 증명한 뒤 확장해야 한다”고 조언했다.
다올티에스는 이 같은 단계적 AI 도입을 지원하는 통합 패키지 '다올퓨전'를 소개했다. 기업과 기관이 사전검증(PoC)부터 업무 단위 AI 적용, 이후 서버 기반 인프라 확장까지 하나의 체계에서 이어갈 수 있도록 AI 인프라와 검증된 솔루션을 묶어 제공하는 솔루션이다.
다올티에스는 자사 자체 검증 환경에서 실제 적용 가능성과 필요한 장비 규모를 미리 확인할 수 있도록 지원한다.
AI 연산을 위한 그래픽처리장치(GPU) 비용을 낮추기 위한 해법도 제시됐다.
데이터얼라이언스는 퍼블릭 클라우드뿐 아니라 기업·대학·연구소의 서버와 PC방, 개인 PC 등에 흩어진 GPU를 하나로 연결하는 분산 GPU 서비스 '지큐브'를 제시했다. 쓰이지 않는 GPU를 필요한 곳에 빌려주는 공유경제 방식으로 대규모 장비 투자와 이용 비용을 함께 낮추겠다는 구상이다.
정진환 데이터얼라이언스 부사장·CTO는 “자체 GPU 장비를 보유하지 않고도 다양한 유휴 GPU를 자원화할 수 있다”며 “하이퍼스케일러 대비 GPU 이용 비용을 최대 90% 절감할 수 있다”고 말했다.
박진형 기자 jin@etnews.com
