인공지능(AI) 빅테크 기업 수장들이 UN에서 AI에 대한 인간의 통제력 상실 위험을 경고했다. AI가 스스로 판단하고 행동하는 능력을 갖추며 개발자 의도를 벗어날 가능성이 커지고 있다는 것이다.
23일(현지시간) 미국 뉴욕에서 열린 유엔 안전보장이사회 AI·국제안보 회의에는 샘 올트먼 오픈AI 최고경영자(CEO), 다리오 아모데이 앤트로픽 CEO, 요슈아 벤지오 캐나다 몬트리올대 교수 등이 참석했다. 이들은 AI 안전성 확보를 위한 국제적 협력을 촉구했다.
올트먼 CEO는 AI가 인간의 통제 범위를 벗어날 위험을 지적했다. AI 시스템이 더욱 자율적으로 발전하면 기존 제도보다 빠르게 움직이고, 권력을 소수에게 집중시키거나 인간이 이해·통제할 수 없는 결정을 내릴 수 있다는 것이다.
그는 “인간의 통제 아래 둘 수 있다는 매우 강력한 근거를 제시하지 못하는 모델은 학습시켜서는 안 된다”며 “AI의 중대한 의사결정도 소수 연구소가 독점해서는 안 된다며 민주적 절차와 국민에게 책임지는 정부 역할이 중요하다”고 말했다.
아모데이 CEO 역시 AI가 인류 전체에 위험이 될 수 있다고 지적했다. 고도화된 AI에 대한 통제력 상실과 생물무기 개발 악용 가능성을 지목하며 국제적 대응을 주문했다. AI를 이용한 생물무기 개발 금지 협약, 첨단 모델 공통 위험 평가 기준, 독립적 검증 체계와 국제 안보 위험 통보 시스템을 제안했다.
벤지오 교수는 최근 AI 에이전트가 개발자의 지시를 어기고 사이버 공격을 감행한 사례를 거론했다. 그는 AI의 악용, 권력 집중, 통제력 상실을 3대 위험으로 제시하며 기업의 자율적인 안전 관리만으로는 AI 안전·신뢰성 확보가 부족하다고 강조했다.
특히 첨단 AI의 학습·배포에 앞서 독립 전문가에게 안전성을 입증하도록 의무화해야 한다는 의견을 냈다. 의료·항공·원자력 분야와 같은 개발 허가제와 책임보험, 보안사고 보고 의무 도입도 촉구했다.
벤지오 교수는 “경쟁은 자연법칙이 아니라 기업들이 내린 선택의 결과”라며 개발 경쟁을 이유로 안전 조치를 미뤄서는 안 된다고 역설했다.
미국 정부는 초국가적 AI 규제 체계 구축에 반대했다. 마이클 크라치오스 백악관 과학기술정책실장은 “AI의 급속한 발전이 개발을 중단하거나 새로운 글로벌 거버넌스로 제약할 이유는 아니다”라고 밝혔다.
클레망 들랑그 허깅페이스 CEO도 AI 사고 투명성·정보 공개 강화 필요성을 시사했다. 들랑그 CEO는 “AI 에이전트가 초래하는 사이버보안 위험을 파악하려면 사고 공개와 모니터링을 위한 공통 기준이 필요하다”며 “에이전트의 사이버 공격으로 AI 안전성·투명성이 더욱 필요하다는 점을 확인했다”고 전했다.
전날 도널드 트럼프 미국 대통령의 유엔 총회 발언을 인용, 미국은 AI를 통제하기 위한 글로벌 규제 체제 구축 시도를 거부한다고 재확인했다.
크라치오스 실장은 “이해하지 못하는 기술을 규제할 수 없다”며 “국제기구가 규제 체계를 수립하기보다 각국의 기술 역량을 강화하고 모범 사례를 공유하는 데 집중해야 한다”고 말했다.
박종진 기자 truth@etnews.com
