스스로 생각하고 행동하는 인공지능(AI) '에이전틱 AI'가 발전할수록 AI가 결정하고 사람은 형식적 승인만 할 것으로 전망됐다. 그럼에도 사람이 스스로 결정했다고 착각하는 문제가 불거질 것으로 관측됐다.
가트너는 최근 '인간 중심 AI 거버넌스:인간 개입 오류 극복' 보고서를 통해 AI가 확산될수록 실제 결정권은 AI로 이동하고, 인간은 사실상 승인 버튼만 누르는 존재로 전락할 위험이 커진다고 지적했다. 또 이를 인간이 개입하고 있으니 안전하다는 'HITL(Human-in-the-Loop) 착각'으로 규정했다.
에이전틱 AI 활용 과정에서 사람이 관여하는 것처럼 보이지만 실제 AI 의사결정 과정을 누가 확인하고 멈출 수 있는지, 결과에 이의를 제기하고 어떻게 제기할 것인지, 누가 최종 책임을 지는지 등이 불분명한, 사실상 사람이 배제가 되는 'HOTL(Human-on-the-Loop)' 구조가 많다는 게 이유다.
특히 AI가 의사결정 지원을 넘어 일부 자율적으로 작동하는 방향으로 확산되며 기업 내 AI 거버넌스의 허점도 함께 커지고 있다고 진단했다.
에번 와이어 가트너 시니어 디렉터는 “AI가 의사결정을 내릴 수 있는 정보와 환경을 제공하는 상황이라도 사람이 통제권을 갖지 않은 채 결정만 하면 AI가 결정한 일에 대해 형식적 승인만 하는 것”이라고 평가했다.
이어 “AI 사용 초기에는 사람이 AI 결과를 적극 검증하지만 시간이 지나며 'AI가 대체로 맞다'는 경험을 축적하게 될 것”이라며 “해당 경험을 토대로 사람이 AI가 내놓은 결과값을 충분히 숙고하지 않은 채 승인만 하면 '확인용 절차'로 사실상 요식행위”이라고 비판했다.
가트너는 이러한 HITL 착각 문제를 조기에 예방하기 위해 기업 내 AI 사용 정책이나 AI 서비스 가이드라인을 중단 권한, 이의 제기 권한, 책임 주체를 명확히 하는 방향으로 재설계해야 한다고 제안했다.
인간과 AI 협업을 시스템 설계 초기부터 탑재, 사람을 단순 승인자가 아닌 'AI 통찰을 활용하면서도 최종 판단을 유지하는 존재'로 설계해야 한다는 취지다.
또 AI 활용에 따른 '책임 소유'와 관리자를 명확히 하고 AI 결정마다 누가 검토했고 책임자인지, 설명 가능한지 등을 기록해야 한다고 당부했다. AI가 독립적으로 행동할 수 있는 상황을 명확히 규정하고 임직원 판단에 따라 기업 내 AI 결정을 쉽게 중단하거나 수정할 수 있는 프로세스 마련도 촉구했다.
문제가 발생할 경우 인간이 실제 관여할 수 있는지, 문제가 생겼을 때 책임자를 얼마나 빨리 특정할 수 있는지, 인간 전문가가 판단 능력을 유지하고 있는지를 점검해야 한다고 강조했다.
박종진 기자 truth@etnews.com
