UX 전문가가 평가한 챗GPT의 장점과 한계
“챗GPT는 사용자가 입력한 문장에 대한 이해도가 높고, 답변 정보의 질 및 표현 방식 또한 기존 챗봇, 기존 검색 시스템 보다 월등하게 높다.”
박성준 상명대학교 교수는 15일 열리는 ‘음성/대화 사용자경험(UX) 트렌드 분석 및 전망 세미나’를 앞두고 가진 인터뷰에서 챗GPT에 대해 이렇게 평가했다.
박성준 교수는 “공감 관련 100개 이상의 논문을 읽고 요약 정리한 리뷰 논문을 썼는데, 그 100개의 논문을 관통하는 정수를 챗GPT가 일목요연하게 설명해줬다“면서 챗GPT가 기존 챗봇에 비해 기술적으로 진일보했다는 평가가 맞다고 설명했다.
박 교수는 이같은 발전은 차별화된 학습 방식 때문이라고 분석했다. 챗GPT는 기존 GPT-3에서 2022년 초에 학습을 마친 GPT-3.5를 바탕으로 챗에 적합한 형태로 모델 설계를 했다. 지금처럼 사람과 비슷한 대화 수준이 된 것은 초기 모델 학습 때부터 인간 인공지능(AI) 학습자들이 한 명은 사람으로 가정하고, 다른 사람은 챗봇으로 가정하고 AI의 답변 후보들을 리뷰하고 평가해 학습에 반영했기 때문이라는 설명이다.
박 교수는 이러한 챗GPT의 학습방식은 사람 평가자가 인공지능(AI)의 결과값만 평가하는 구글 람다와의 결정적인 차이를 가져왔다고 해석했다.
박 교수는 이어 챗GPT는 양질의 ‘족보’를 가지고 학습한 사례라고 소개했다. 그는 “채팅 가능한 형태로 만들기 위해 정제된 대화형 데이터를 학습하다보니 일반 데이터를 크롤링으로 수집했을때 보다 더 맥락/정황에 맞는 대화 및 질의/응답이 가능해졌다”고 평가했다.
그는 챗GPT의 결정적인 한계는 족보가 잘못된 경우에는 말은 그럴듯해보이나 내용 자체가 오류인 경우가 있다고 설명했다. 박 교수는 “이는 인공지능 모델의 문제라기보다는 데이터의 옳고 그름의 문제”라면서 “챗GPT가 대화하는 상대의 감정을 인식하거나 감정을 표현하지는 못한다는 한계도 갖고 있다”고 설명했다.
감정을 인식하는 것처럼 보이는 부분은 수 많은 학습된 데이터에서 "특정 문장 - 특정 감정"이라는 패턴을 학습했기에 제한적으로 가능한 부분이라는 것. 따라서 공감(Empathy)과 같은 고차원적인 감정 교류는 현재로서는 불가능하다는 것이 챗GPT의 한계이다.
박성준 교수는 “공감을 하기 위해서는 상대 대화 내용에 대한 기억, 상대에 대한 감성 이식 등을 필요로 한다”면서 “현재는 방금 한 말에 대해서만 기억하는 제한적인 기억을 선보인다”고 설명했다. 예를 들어, 어제 질문자가 빨간 색을 좋아했다고 하는데 그 다음날 혹은 몇 시간뒤 물어보면 챗GPT가 기억못한다는 것이다.
박 교수는 “많은 기업에서 대화내 기억/망각 모델을 연구 개발하고 있는데 아직 챗GPT에는 본격적으로 적용되지 않았다”면서 “그래도 챗GPT는 목표한 용처(정보의 요약 및 질의에 대한 답변)에는 극도로 충실하고 완성도 높은 성능을 보여주고 있다”고 평가했다.
그는 “아직은 챗GPT가 이루다 등과 같은 말벗, 감정교류형 챗봇과 대비해서는 제한적인 성능을 가지고 있고, 애초에 그런 목적으로 기획되지 않았으나, 이런 챗봇의 장점과 결합이 된다면 정말 사람과 대화하는 느낌으로 진화할 가능성도 있다”고 전망했다.
한편 박성준 교수는 15일 와이비엠더비즈에서 열리는 ‘음성/대화 사용자경험(UX) 트렌드 분석 및 전망 세미나’에서 사용자경험 측면에서 직접 챗GPT를 사용해본 경험과 시연을 선보일 예정이다. 행사에 대한 자세한 정보는 행사 웹사이트 (https://conference.etnews.com/conf_info.html?uid=238)를 통해 확인할 수 있다.
전자신문인터넷 유은정 기자 (judy6956@etnews.com)
