사람들은 유명 시인의 시와 생성형 인공지능(AI)이 쓴 시를 확실히 구분하지 못한다는 연구 결과가 나왔다. 또한 오히려 AI가 지은 시를 더 선호하는 것으로 나타났다.
15일(현지시간) 미국 피츠버그대 브라이언 포터 박사팀은 과학 저널 사이언티픽 리포트(Scientific Reports)에서 이 같은 내용을 발표했다.
연구팀은 일반인들에게 유명 시인 10명의 시와 이들의 시를 모방해 챗GPT3.5가 지어낸 시를 제시한 뒤 이를 구분하고 평가하게 하는 두 가지 실험을 진행했다.
연구팀은 먼저 1634명을 대상으로 AI가 생성한 시와 유명 시인의 시를 구별하는 테스트를 했다. 두 번째 실험에서는 696명을 대상으로 AI의 시와 시인들의 시에 대해 아름다움, 리듬, 독창성 등 14가지 특성을 평가하게 했다.
실험에는 14세기 시인 제프리 초서부터 윌리엄 셰익스피어, 월트 휘트먼, TS 엘리엇, 현대의 도러시아 라스키 등 유명 시인 10명의 시 50편과 챗GPT3.5가 이들의 시를 모방해 지은 시 50편이 사용됐다.
첫 번째 실험에서는 유명 시인의 시 5편과 AI의 시 5편을 무작위로 제시했으며, 이후 시인과 AI의 시를 구별하도록 한 결과 정확도가 46.6%였다. 이는 우연히 맞힐 수 있는 확률에도 미치지 못하는 수치다.
참가자들은 AI가 쓴 시를 사람이 쓴 것이라고 판단할 가능성이 더 높았으며, 이들이 시인이 썼을 가능성이 가장 낮다고 평가한 시 5편은 모두 실제 시인이 쓴 것으로 나타났다.
두 번째 실험에서는 참가자들을 세 그룹으로 나눈 다음 각 그룹에 시를 제시할 때 시에 대해 '사람이 쓴 시', 'AI가 쓴 시', '출처 정보 없음' 등 정보를 주고 그 시의 질과 아름다움, 감정, 리듬, 독창성 등 14가지 특성을 평가하게 했다.
그 결과 'AI가 쓴 시'라는 말을 들은 참가자들은 실제 시인이 쓴 시인지 AI가 쓴 시인지 관계없이 '사람이 쓴 시'라는 말을 들은 참가자들에 비해 13가지 특성에서 낮은 점수를 줬다.
시의 출처 정보가 없다는 말을 들은 참가자들은 AI가 생성한 시에게 시인들이 쓴 시보다 더 높은 점수를 줬다.
연구팀은 AI의 시를 이처럼 긍정적으로 평가하는 경향은 사람이 쓴 시의 복잡성을 AI가 만들어낸 '일관성 없음'으로 착각하고, 생성형 AI가 얼마나 인간과 유사해 보일 수 있는지에 대해 과소평가하고 있기 때문일 수 있다고 설명했다.
이어 “시는 생성형 AI가 아직 인간과 구별할 수 없는 수준의 작품을 쓰지 못하는 텍스트 영역 중 하나로 여겨져왔다”며 “하지만 이 연구 결과는 생성형 AI의 능력이 시에서도 이미 사람들의 기대를 넘어섰음을 보여준다”고 말했다.
이원지 기자 news21g@etnews.com
