스페셜리포트<4> 인간은 기계에 종속당할 것인가, 아니면 지배할 것인가?
이대희 인공지능 법제도연구포럼 위원(고려대 법학전문대학원 교수)
◆인공지능과 우리 사회의 숙제
2016년 7월 어느 빅데이터 분석 회사가 '아름다운 사람'을 인공지능(AI)으로 선발하기 위한 대회를 개최했다. 이를 위해 사용한 AI 알고리즘은 동일 연령대와 비교했을 경우 안면의 주름 정도, 뾰루지·착색 정도, 실제 나이와 인식되는 나이 간 차이, 모델(동일한 인종·연령대 50~100명)과 유사한 정도, 안면 대칭 등 5개였다. 100개 이상 국가 6000여명 남녀 응모자가 사진을 제출해 대회에 응모했고, 주최 측은 AI에 의해 아름다운 사람 외모에 가장 가깝다고 판단한 44명을 발표했다. 이러한 선발과정에서 인간은 사실상 데이터 제공과 알고리즘 설계에 관여하는 것에 그치고, 44명 선발이라는 결정은 AI에 의해 자동적으로 이뤄진 것이다.
그런데 선발 결과는 이상하리만치 놀라웠다. 선발된 사람은 대부분 백인이었고, 아시아인은 5명, 흑인은 단 1명에 불과했다. 백인이 가장 많이 응모했다 하더라도 받아들이기 어려운 결과였다. 2019년 미스아메리카 등 미국 3대 미인대회에서 모두 흑인여성이 1위를 차지했고, 다른 미인선발대회에서도 아시아인들이나 흑인들도 많이 선발되는 사례를 보면, AI를 이용한 이 대회선발결과에는 문제가 있는 것이 확실했다. 백인에게 유리한 평가기준, 곧 편견이 있는 알고리즘이나 데이터가 선발결과를 좌우했다고 볼 수밖에 없다.
이러한 선발대회는 하나의 해프닝에 불과할 수 있다. 그러나 AI에 의해 개인에 관해 중요한 사항에 대한 결정이 자동적으로 이뤄지면 어떻게 될까? 예컨대 직원을 고용하거나, 법을 집행하거나, 신용을 평가하거나, 직무성과를 분석해 결정하는 것에 대해 알고리즘이나 편견이 개입됐다면 어떻게 될까? 유명 회사가 출시한 카메라가 아시아인의 눈을 제대로 포착하지 못하거나, 유명 검색엔진 회사의 사진 소프트웨어가 흑인을 고릴라로 분류하거나, 미국 공항의 보안카메라가 무기를 소지할 가능성이 높은 대상으로 머리를 땋아 묶거나 여러 가닥으로 묶은 머리 스타일을 가진 흑인 여성을 많이 지목한 것 등 지금까지 기계가 인간을 차별해 온 사례는 무수하다. 예컨대 뉴스 콘텐츠를 제공하는 유명 사이트가 편견 있는 알고리즘에 의해 뉴스를 제공한다면 여론까지 장악할 수도 있다. 이와 같이 AI에 의한 자동적 의사결정은 인간 개개인뿐만 아니라 사회 전반적으로 많은 문제점을 야기할 수 있다.
데이터나 알고리즘에 편견이 의도적으로 개입되는 경우도 문제지만, 무의식적으로 개입되는 것은 물론이고 알고리즘을 악용해 의사결정을 정당화할 수 있다는 것이 더 큰 문제다. AI는 연령·성별·인종 등에 따라 사람을 차별하기 위한 수단으로 전락되고, 궁극적으로 사람이 기계에 종속되는 상황을 초래할 수 있다. AI에 내재하거나 잠재하는 단점을 해소하지 않는다면 AI 혜택은커녕 AI 관련 산업 발전도 기대할 수 없다. AI 혜택을 최대화하면서 그 단점을 해소하는 것이 우리가 풀어야 할 숙제다.
◇AI와 데이터
AI는 인간의 관여 없이 독립적으로 추론하고, 경험으로 학습하고, 일정한 구조 피드백으로 스스로 문제를 해결한다. AI 기술 중 하나인 머신러닝(기계학습)은 '축적된 데이터에 기초해 수학적 알고리즘을 생성하고 컴퓨터가 생각할 수 있도록 하는 일련의 기술 및 툴'이라 할 수 있다.
AI의 핵심적 요소는 데이터와 알고리즘이다. 먼저 AI와 데이터는 양방향적인 관계로서, 데이터는 AI의 연료가 되는 셈이고 AI는 공급받은 연료로부터 새로운 정보(지식)를 추론한다. AI 발전과 광범위한 확산은 이용 가능한 많은 양의 데이터, 데이터 처리능력 및 저장의 확대, 저렴한 저장비용에 기인한다. 머신러닝의 지도학습과 비지도학습은 데이터에 레이블링(AI가 인식할 수 있도록 데이터나 데이터 내용을 분류·표시하는 작업)을 하는가에 차이가 있을 뿐, 학습과 지능적 결정을 위해서는 많은 양의 데이터를 필요로 한다. AI 시스템은 학습하기에 충분할 정도의 데이터를 가지는 경우에만 지능적일 수 있다. 예컨대 AI가 고양이와 머핀을 구분함에 있어서는 고양이와 머핀의 이미지가 많이 투입될수록 정확도가 높아지며, 고객을 응대하는 챗봇도 고객 질문과 답변사항을 많이 분석할수록 답변이 정확해진다.
◇개인정보 활용 증대 및 보호 필요성
AI는 데이터 입력-알고리즘 적용-새로운 지식(정보) 생성의 순서로 작동한다. AI에 입력되는 데이터나 새롭게 생성된 지식은 특정 개인을 알아볼 수 있는 것이어서 개인정보에 해당할 수 있고, 저작권이나 영업비밀 등에 의해 보호되는 것일 수도 있다. 바로 여기에서 AI와 개인정보 및 지식재산권 규범이 충돌하고 따라서 이들 법제를 조정할 필요가 있다.
개인정보 규범과 조정이 필요하다. 우선 AI는 개인정보에 해당하는 데이터를 필요로 하므로, AI 정확성을 향상시키거나 AI를 제대로 활용하기 위해서는 개인정보 활용이 필수다. 개인정보를 처리(저장, 가공, 편집, 이용 등)하기 위해서는 처리 요건이나 보호원칙을 충족해야 한다. 예컨대 정보주체는 개인정보 처리에 대해 동의하고, 개인정보 이용목적은 수집하는 시점에 정해지고 개인정보 이용도 이러한 명시된 목적에 제한된다. 그런데 AI는 이러한 원칙을 관철하는 것이 매우 어렵거나 불가능하다. 예컨대 AI는 개인정보 이용목적을 사전에 알 수 없고, 정보주체도 자신에 관한 정보가 어디에, 어떤 목적을 위해 사용될 것인지 예상할 수 없기 때문에 정보 처리에 동의할 수도 없다.
최근 개정된 개인정보보호법은 당초 수집 목적과 합리적으로 관련된 범위에서 정보주체에게 불이익이 발생하는지 여부 등을 고려해 정보주체의 동의 없이 개인정보를 이용할 수 있도록 함으로써, 목적 범위 외 개인정보 활용을 어느 정도 허용했다. AI에 의한 개인정보 활용을 활성화하기 위해서는 이러한 규정을 융통적으로 해석하는 것뿐만 아니라 개인정보 규범을 합리적으로 활용할 수 있도록 폭을 확대하는 것이 필요하다.
AI에 의해 새로이 생성된 개인정보를 철저하게 보호할 필요성이 있다. AI는 개인정보를 자동적으로 처리해 특정 개인의 지극히 사적인 측면에 대해서도 평가〃분석할 수 있다. 곧 AI는 프로파일링에 의해 특정 개인의 직무수행, 경제 사정, 건강, 개인적 선호도, 성격, 관심사, 사회적 관계, 신뢰성, 행태, 위치, 움직임 등을 자동적으로 분석하거나 예측할 수 있다. 이러한 정보들은 대부분 민감정보에 해당할 가능성이 높아 일반 개인정보보다 보다 강력하게 보호돼야 한다.
개인정보를 비교적 광범위하게 활용해야 한다는 것은 개인정보 내지 프라이버시 보호를 경시해도 된다는 것을 의미하는 것이 아니다. 개인정보가 제대로 보호되지 않아 AI에 대한 소비자 신뢰가 떨어지면 AI 발전과 활용도 더 이상 기대할 수 없기 때문이다.
◇알고리즘에 의한 자동 의사결정 문제점:편견·차별
컴퓨터는 알고리즘에 따라 그 시스템 기능이 완전히 달라진다. 알고리즘을 어떻게 설계하는가에 따라 컴퓨터 시스템에 미칠 영향력 한계와 범위가 설정된다. 알고리즘은 어떠한 문제를 해결하기 위해 정해진 일련의 절차나 방법, 또는 계산을 실행하기 위한 단계적 절차다. 알고리즘은 데이터를 입력 값으로 일정한 결과 값을 생성한다. AI 알고리즘 설계자들은 그 특수성을 증진하기 위해 레이블, 분류, 설명과 같은 디자인 요인들을 포함시킨다.
머신러닝은 입력된 많은 데이터를 처리·분석해 어떠한 패턴을 찾거나 경험으로부터 학습을 하고, 추론에 의해 결과를 예측하고, 새로운 데이터를 이용해 결과 값을 최신화한다. 심지어 새로운 알고리즘을 생성해낸다. 머신러닝 개발자는 알고리즘의 예측 능력을 시험하기 위해 여러 학습과정을 통해 알고리즘이 경험하지 않았던 데이터를 이용하기도 하고, 수행성과를 바탕으로 보다 더 정교한 학습과정을 설계한다. 이러한 학습과정의 마지막 단계에서 AI 모델을 만드는데, AI 모델은 데이터를 입력해 질의하는 방식을 이용한다.
AI 알고리즘은 우리가 해결하지 못한 문제를 해결하는 기술이 될 수 있고, 자동화 시스템은 인간에 의한 편견을 감소시킬 수도 있다. 검색, 머신비전(사람의 시각 판단기능을 기계에 적용한 기술), 음성인식 등 인간이 풀기 어려운 과제의 분석은 머신러닝 시스템만 가능하다.
그런데 머신러닝 알고리즘은 '블랙박스'로 작용해 매우 불명확한 문제점이 있다. 기존 전통 데이터 처리에서는 의사결정트리나 논리가 존재하고, 이에 따라 알고리즘은 일정한 범위 결과에 도달했다. 때문에 설명이 가능하고 인간이 이해할 수도 있었다. 그러나 머신러닝 모델은 대규모 데이터에 의존하는 알고리즘을 사용하고, 의사결정트리를 사용하지 않는다. 매우 복잡해 사실상 인간이 이해할 수 없고, 의사결정 과정에 인간이 관여할 수도 없다. 데이터를 수집·처리·결합·분석·해석하는 과정에서 어떠한 결과가 발생할지 불확실하다. 결정을 위해 사용된 방법을 인간이 이해할 수 있는 형태로 설명하는 것이 불가능하다.
더 큰 문제는 머신러닝에 의한 의사결정이 인간의 관여 없이 자동적으로 이뤄진다는 점이다. AI에 데이터를 제공하는 인간 지성은 완벽하지 않으므로, 설계자 자신의 편견이 반영되거나, 데이터를 선정하거나 알고리즘을 학습시키기 위한 파라미터(매개변수)를 생성하는 과정에 편견이 반영될 수 있다. 성별, 인종, 기타 민감한 특성 등에 관해 편견이나 불평등을 반영하는 데이터로 훈련받은 머신러닝 알고리즘은 그 결과도 부당할 수밖에 없다. 인간의 관여 없이 알고리즘에 의해 자동적으로 의사가 결정되므로, 궁극적으로 기계에 의한 부당한 의사결정에 인간이 종속되는 결과, 곧 기계에 대한 인간의 노예화 현상을 불러오게 된다.
◇AI 관련 개인정보 규범 제정 필요성
AI의 자동적 의사결정에 인간이 관여할 수 없고 인간이 이해하는 것도 불가능하다면, 프라이버시 및 기본권 침해는 물론이고 기계에 대한 인간의 종속은 가속화된다. 이와 관련해 유럽연합의 일반개인정보보호규정(GDPR)은 프로파일링 등 알고리즘에 기반으로 한 자동 의사결정에 대해 투명성을 확보하는 규정을 둠으로써 우리에게 시사점을 제공한다.
GDPR는 정보처리자(AI 이용자)에게 자동화된 의사결정과 관련된 정보를 정보주체에게 제공하고, 정보주체의 권리·자유 및 정당한 이익을 보호하기 위한 적절한 조치를 취할 의무를 부과하고 있다. 이러한 조치에는 최소한 정보주체가 처리과정에 인간이 개입할 것을 요구하고, 정보주체 자신의 의견을 밝히고, 평가 이후 내려진 결정에 대해 설명을 요구하고, 결정에 이의를 제기할 수 있는 권리가 포함돼야 한다.
AI에 관해 GDPR의 핵심 내용은 정보주체가 정보처리자에게 기계에 의해서만 결정할 것이 아니라 의사결정 과정에 인간이 관여할 것을 요구할 수 있다는 것이다. 인간이 기계에 종속되지 않도록 하기 위한 최소한의 장치인 셈이다. GDPR의 또 다른 중요한 내용은 정보주체가 자동 의사결정에 의해 이뤄진 평가에 대해 정보처리자에게 설명을 요구할 수 있는 권리(설명권)를 부여하고 있다는 점이다. 유럽에서 설명권의 인정 여부에 대해 다소 논란의 여지는 있지만, 설명권은 AI가 지니고 있는 문제점을 해결하기 위한 적절한 시도라 할 수 있다. 설명권은 각종 편견에 의해 차별 등 부작용이 존재할 수 있고, 인간이 인식할 수 없는 블랙박스 영역에서 이뤄지는 자동 의사결정 과정에 대한 투명성 내지 책임성을 담보하는 것이라 할 수 있다.
최근 대폭 개정된 개인정보보호법에는 AI 알고리즘 투명성·책임성을 확보하기 위한 내용은 포함되지 않았다. 물론 데이터 3법 중 하나로서 개정된 신용정보법에는 GDPR와 사실상 동일하게 자동화평가 결과에 대한 설명요구권 및 이의제기권을 부여했지만 이것은 어디까지나 개인신용평가를 중심으로 하는 금융 분야에 한정되는 것이다. AI 규율에 대해서는 법, 윤리, 정책 등 여러 분야에서 접근할 수 있고, 규율의 시급성도 각기 다를 수밖에 없다. 그러나 AI가 작동하는데 연료 역할을 하는 데이터(개인정보) 측면에서는 그 규율이 시급할 수밖에 없다. AI에 의한 편견이나 차별은 그 위험성은 매우 높은데도 불구하고 AI는 이미 우리사회에서 광범위하게 활용되기 때문이다.
AI를 위해 데이터를 활용하고 알고리즘을 설계하는 것은 인간이지만, 인간 자신의 의식, 무의식, 무관심에 의해 인간이 차별받고 기계에 종속되는 아이러니한 결과가 발생한다. 한국 개인정보보호법에도 정보처리자가 AI에 의한 개인정보 처리에 대해 정보주체에게 통지하고, 인간이 관여 없이 기계에 의해서만 자동적으로 이뤄지는 의사결정에 정보주체가 반대하고, 정보주체가 AI에 의한 정보처리에 대해 설명을 요구하고, 자동적인 의사결정에 이의를 제기할 수 있도록 하는 권리를 부여하는 입법방안을 모색하는 것이 바람직하다. 지금 이 시점에 입법적 조치를 취하지 않는다면, 우리는 AI에 의한 차별이나 인간이 기계의 노예로 전락하는 것을 당연한 것처럼 받아들일 수 있고 기계에 대한 종속은 가속화될 것이다.
it-law@korea.ac.kr
