인공지능(AI)을 도입하는 대부분의 기업은 생산성 향상을 위한 업무 자동화를 목표로 한다. 최근 이 움직임을 가속하는 기술이 '하네스 엔지니어링'이다. 하네스란 거대언어모델(LLM)의 실행을 통제하는 프로그램이다. 추론·생성 같은 언어 능력은 LLM에 맡기고 문서 검색·데이터 처리·코드 실행 같은 구체적 행동은 도구와 스킬로 묶어 외부에서 제어한다.
이러한 구조 덕분에 LLM이 바뀌거나 모델의 응답이 달라져도 기업은 업무 절차와 보안 정책을 일관되게 유지하고, 결과의 재현성과 운영 안정성을 높일 수 있다. 앤트로픽의 클로드 코드와 오픈AI의 코덱스가 대표적인 하네스다. 이 하네스를 활용해 목적에 맞는 에이전트를 효과적으로 만들어 내는 일이 하네스 엔지니어링이다. 그 결과 AI 업무 능력의 폭과 정확성이 한층 높아진다.
기업용 하네스의 핵심은 툴과 스킬, 그리고 거버넌스다. 툴은 AI가 외부 세계와 상호작용하는 도구다. 스킬은 여러 툴을 정해진 순서로 묶은 업무 절차다. 인사 정보 조회, 규정 문서 요약, 보고서 작성처럼 반복되는 업무를 하나의 스킬로 정의하면, 하네스가 제어하는 LLM이 스킬에 정해진 절차를 따라 결과물을 낸다. 여기에 '누가 어떤 도구를 사용할 수 있는지'를 통제하는 거버넌스가 더해지면 기업용 하네스의 기능이 완성된다. 하네스가 갖춰지면 기업의 인공지능 전환(AX)은 툴과 스킬이라는 업무 자산을 축적하는 과정이 된다.
하지만 하네스를 온전히 쓰려면, 그 전에 정해야 할 것이 있다. LLM이다. 성능, 비용, 데이터 보안이라는 세 관점에서 접근해야 한다. GPT, 클로드 같은 상용 모델은 성능이 가장 앞서지만, 사용량에 비례하는 토큰 비용과 데이터가 외부로 나간다는 보안 문제가 뒤따른다. 데이터가 회사 경계를 벗어나는 것 자체가 허용되지 않는 금융·공공이라면, 내부망에 오픈웨이트 모델을 직접 구축하는 길이 대안이다.
오픈웨이트 모델은 가중치가 공개된 LLM 모델이다. 그 성능은 지식 벤치마크(MMLU-Pro) 기준 최상위권 상용 모델들과 비교해도 3~5%포인트(P) 안팎의 격차에 불과하다. 데이터가 사내망을 벗어나지 않으면서도 토큰당 과금 없이 운영할 수 있다. 여기에 모델 크기라는 변수가 더해진다. 어려운 추론은 큰 모델이, 빠르고 저렴한 처리는 작은 모델이 유리하므로 작업 난이도에 따라 나눠 쓰는 유연한 구성이 답이다.
하지만 이 기술적 선택보다 더 중요한 질문이 있다. 바로 '하네스로 어떤 업무를 실행하게 할 것인가'다. 부서의 반복 업무를 발굴해 스킬로 정의하고, 관리자가 검토·승인해 전사에 배포하며, 피드백으로 개선하는 과정은 기술 작업이면서 동시에 조직 변화 작업이다. 자동화할 업무가 구체적이지 않으면 아무리 좋은 하네스도 활용도는 낮을 수밖에 없다. 처음부터 큰 그림을 그리기보다 작은 업무 하나를 스킬로 만들어 그 성과를 구성원이 체감하게 하는 것이 현실적인 출발점이다.
넥서스AI는 2023년 창업 이후 법률·광고 현장에 AI 에이전트를 직접 만들어 운영해 왔다. 그 경험을 담아 기업용 하네스를 제품화했다. 이 모든 과정을 겪어 보며 얻은 결론은, 기술은 필요조건이지 충분조건이 아니라는 점이다. 기업의 AX는 기술의 도입에 그치는 것이 아니라 일하는 방식 전체를 바꾸는 변화 관리이기 때문이다. 업무 방식이 바뀌는 만큼 구성원의 우려와 저항도 함께 관리해야 한다. 이를 위해 가장 필요한 것은 리더의 세심한 관심과 확고한 의지다.
이재원 넥서스AI 대표 jwlee@nexusai.kr
