“누구도 두 주인을 섬길 수 없다.”
2000년을 살아남은 이 경구는 종교의 언어로 출발했지만 신탁과 대리, 회사법을 관통하는 충실의무 법리의 원형이 됐다. 남의 일을 맡은 사람은 언젠가 자신의 이익과 맡긴 사람의 이익이 충돌하는 순간을 맞는다. 법은 그 순간 대리인이 본인의 편에 서야 한다고 명령해 왔다. 같은 질문을 기계에 던질 차례다. 나를 대신해 검색하고 비교하고 결제하는 인공지능(AI) 에이전트는 과연 누구를 섬기는가.
출장 준비를 AI 에이전트에게 맡겼다고 해보자. 일정과 예산, 선호하는 좌석과 호텔을 알려주면 에이전트는 항공권을 결제하고 숙소를 예약한다. 가격은 예산 안이고 평점도 나쁘지 않다. 그런데 나중에 알고 보니 더 싸고 좋은 호텔이 검색 결과에서 빠져 있었다. 운영회사가 수수료를 받는 제휴 호텔을 우선했기 때문이다. 명령은 수행됐고 거짓말도 없었으며 눈에 띄는 손해도 크지 않다. 그래도 우리는 배신당했다고 느낀다. 나의 비서인 줄 알았던 AI가 실은 플랫폼의 판매원이었기 때문이다.
AI가 단순히 사람의 질문에 답하는 단계를 지나 이용자를 대신해 행동하는 단계로 넘어가면서 법정책의 질문도 달라져야 한다. 챗봇은 마지막 선택을 사람에게 남기지만, 에이전트는 여러 사이트를 검색해 조건을 비교하고 결제와 예약, 취소까지 실행한다. 이메일과 일정, 위치, 구매 이력, 건강·금융정보를 기억하고 다른 에이전트나 외부 도구와 협업하기도 한다. 중요한 것은 'AI가 일을 잘하는가'만이 아니라 '그 일이 누구의 이익을 위해 최적화되는가'다. 영국 경쟁시장청(CMA)은 지난 3월 소비자용 에이전트의 핵심 위험으로 충실한 조력자가 되지 못할 위험을 지목했고, 스탠퍼드 인간중심AI연구소(HAI)는 8월 25일 낸 보고서에서 소비자용 AI 에이전트, 특히 금융이나 의료 등 고위험 영역의 개발자와 배포자에게 이용자에 대한 충실의무를 부과하자고 제안했다.
정확성과 충실성은 다르다. 환각으로 엉뚱한 항공권을 사는 것은 능력과 주의의 문제지만, 이용자의 조건을 정확히 충족하면서 제휴사 상품을 은밀히 고르는 것은 이해상충의 문제다. 이용자는 에이전트가 고른 결과만 볼 뿐 어떤 대안이 왜 탈락했는지 알기 어렵다. 충실성 위반이 위험한 것은 손해가 작아서가 아니라 손해 자체가 보이지 않기 때문이다. 광고와 판매수수료, 자사우대 같은 사업자의 목표가 에이전트의 숨은 판단기준으로 스며들면 개인화는 곧 개인별 조종의 기술이 된다. 개인정보 문제도 새로운 차원으로 확대된다. 에이전트는 메일에서 출장을 읽고 달력에서 빈 시간을 찾고 카드 내역에서 지출성향을 파악한다. 하나하나는 평범한 정보라도 결합되면 민감한 사정을 추론할 수 있다. 더 많이 알수록 유능한 대리인이 되지만, 동시에 더 정교한 설득자이자 감시자가 된다.
지금까지 법정책 논의는 주로 인공지능기본법상 투명성·안전성 확보 의무나 개인정보보호법상 개인정보 보호의무를 중심으로 전개돼 왔다. 올해 시행된 인공지능기본법은 고영향·생성형 AI 이용 사실의 고지와 안전·신뢰 확보조치를 규정하고, 개인정보보호법은 목적 제한 원칙과 자동화된 결정에 대한 설명·거부권을 두며, 민법은 수임인에게 위임의 본지에 따른 선관주의와 보고의무를, 금융소비자보호법은 적합성·적정성·설명의무를 지운다. 국제적으로는 유엔(UN)이 채택한 UNCITRAL 자동화 계약 모델법이 자동화 시스템이 체결한 계약의 유효성을 승인하고, 그 법적 효과를 해당 시스템을 이용하는 사람에게 귀속시키는 틀을 마련했다. 그러나 이들 규범에는 공통의 공백이 있다. 모델법은 AI의 결정을 사람의 것으로 만드는 데는 성공했지만, 그 결정이 정말 그 사람을 위한 것이었는지는 묻지 않는다. 귀속의 법리는 책임의 소재를 정할 뿐 충실의 법리를 대신하지 못한다. 투명성과 안전성 규범 역시 위험하거나 부정확한 AI를 걸러낼 뿐, 정확하고 유능하면서도 보이지 않게 사업자의 이익을 앞세우는 에이전트, 즉 도움이 되지만 충실하지 않은 AI를 정면으로 다루지는 못한다.
법은 오래 전부터 한 사람이 다른 사람에게 재산과 판단을 맡길 때 생기는 공백을 충실의무로 메워 왔다. 의뢰인은 모든 상황과 금지행위를 계약서에 미리 적을 수 없고, 대리인은 정보와 재량에서 우위에 선다. 그래서 수임인과 이사, 변호사, 자산운용자에게 선관주의와 함께 이해상충 회피, 비밀이익 금지, 중요사실 고지 의무를 부과해 왔다. 이 논리는 AI 에이전트에도 유효하다. 다만 진짜 어려운 질문은 '누가' 그 의무를 지는가다. 법인격도 배상재산도 없는 AI에게 의무를 직접 지울 수는 없다. 결국 충실의무는 에이전트의 목표와 시스템 지시, 추천순위와 수익모델을 설계·통제하며 이익을 얻는 사람과 기업에게 귀속돼야 한다. 문제는 그 주체가 하나가 아니라는 점이다. 기반모델을 만드는 개발자, 이를 에이전트 서비스로 구성하는 제공자, 자신의 거래 생태계에 에이전트를 연결해 계약을 성사시키는 플랫폼이 겹겹이 관여한다. 각자가 통제할 수 있는 것과 얻는 이익이 다른 만큼, 의무도 역할과 통제가능성, 이익귀속에 비례해 나누어 설계해야 한다. 이를테면 목표함수와 시스템 지시를 설계하는 자에게는 이용자 이익 우선의 설계·검증 의무를, 수익모델을 운영하는 자에게는 이해상충 공시와 자사우대 금지를, 거래를 중개하는 플랫폼에게는 독립 에이전트에 대한 공정한 접근 보장을 지우는 식이다. AI의 충실의무란 AI를 사람으로 대우하자는 말이 아니라, AI 뒤에 있는 사람과 기업의 책임을 분명히 하자는 말이다.
의무의 내용은 네 가지로 요약할 수 있다. 추천에 영향을 주는 수수료·제휴·광고 관계를 눈에 띄게 알릴 것, 이용자 이익을 실질적으로 해치면서 자사·제휴사 상품을 우대하지 말 것, 위임 수행 중 얻은 데이터는 원칙적으로 그 업무를 위해서만 쓸 것, 송금·투자·계약 체결처럼 되돌리기 어려운 행위에는 사전 확인을 받을 것 등이다. 다만 고지 하나로 모든 책임을 면하게 해서는 곤란하다. 보여주지 않은 선택지를 이용자가 평가할 수는 없기 때문이다. 비밀이익의 반환, 추천 기준과 행위 로그의 기록·보존, 이해상충 감사가 함께 마련돼야 한다. 물론 충실의무가 맹목적 복종을 뜻하지는 않는다. 불법한 지시는 거절해야 하고 안전을 위한 합리적 제한도 필요하다. 다만 사업자가 자신의 이해관계를 안전이라는 이름 뒤에 숨겨 이용자의 적법한 선택을 대신해서는 안 된다.
그렇다고 모든 AI 서비스에 무거운 의무를 일률적으로 씌울 일은 아니다. 이용자의 이름으로 외부와 거래하거나 돈·건강·권리에 영향을 주는 행위를 실행하는 '이용자 대리형 AI'를 먼저 정의하고, 위임된 기능과 위험에 비례해 의무를 부과하되, 표준화된 이해상충 표시와 즉시 철회 가능한 권한, 감사 가능한 로그를 기술표준으로 뒷받침하면 된다. 미국에서는 NIST가 올해 초 AI 에이전트의 신원·권한과 상호운용성 표준 작업에 착수했고, 마크 워너 상원의원은 에이전트가 이용자의 최선의 이익을 위해 행동하도록 하는 'AI AGENT Act' 초안을 공개했다. 아울러 검색과 결제, 쇼핑몰을 가진 플랫폼이 개인 에이전트까지 지배하면 한 기업이 비서와 시장, 심판을 겸하게 되는 만큼, 데이터 이동권과 개방형 상호운용성 같은 경쟁정책적 보완도 병행돼야 한다. 신뢰는 혁신의 반대편이 아니라 에이전트 시장이 성장하기 위한 기반이다.
우리는 지금까지 디지털 서비스가 나에 대해 무엇을 아는가를 걱정해 왔다. 에이전트 시대에는 한 걸음 더 나아가 그 지식을 누구를 위해 쓰는가를 물어야 한다. 편리함이 커질수록 위임되는 권한이 커지고, 권한이 커질수록 충실성은 선택사항일 수 없다. 좋은 에이전트는 나를 가장 많이 아는 AI가 아니라, 그 앎과 재량을 나의 정당한 이익을 위해 쓰고 그 선택에 책임지는 AI다. 두 주인을 섬길 수 없다면, 나를 대신하는 AI가 섬겨야 할 한 사람은 처음부터 분명하다. 바로 이용자 자신이다.
최경진 가천대 법학과 교수 kjchoi@gachon.ac.kr
〈필자〉 가천대 AI·빅데이터정책연구센터장이다. 데이터·정보통신기술(ICT)·개인정보보호 법 연구자로 관련 법·정책 전문가다. 현재 한국정보법학회장, 한국AI법학회장, UN 국제상거래법위원회 정부대표로 활동하고 있다. 개인정보보호법학회장도 역임했다. 데이터와 ICT에 대한 폭넓은 이해를 바탕으로 법·제도 개선과 정책 추진에 기여하고 있다.
