UNIST 멀티 모달 학습법 개발
데이터 구축 비용 절감…의료·자율주행 적용 기대
울산과학기술원(UNIST)가 하나의 데이터 유형을 학습하면 다른 유형의 데이터 학습도 촉진할 수 있는 고효율 인공지능(AI) 학습 기술을 개발했다. 서로 다른 유형의 AI 데이터 학습에서 꼭 필요하다고 여겨지던 데이터 정렬 작업이 필요 없어 데이터셋 구축 등 비용 절감에 기여할 수 있다.
윤성환 UNIST 인공지능대학원 교수팀은 데이터 정렬과 매칭 없이 하나의 데이터 유형만으로 다른 유형의 모델 학습을 촉진할 수 있는 'AI 멀티모달 학습 기술'을 개발했다고 7일 밝혔다.
멀티모달 학습은 오디오, 이미지, 텍스트 등 서로 다른 데이터 모달리티를 결합해 통합적으로 이해하고 처리하는 학습 방법이다. 다양한 모달리티 데이터를 정렬하고 이에 대해 쌍을 이루는 라벨링 과정이 필요해 많은 시간과 비용이 소요된다. 명확하게 짝지어진 데이터가 부족하면 성능이 저하되기도 한다.
윤 교수팀이 개발한 AI 멀티모달 학습 기술은 짝지어지지 않은 데이터로도 멀티 모달 학습이 가능하다. 음성과 인간 표정을 함께 분석해 감정을 이해하는 AI 비서, CT 영상과 진료 기록을 결합해 의사처럼 진단하는 의료AI모델 구축에 들어가는 비용과 시간을 절감할 수 있다.
윤 교수팀은 텍스트 모델로 이미지 모델 학습을 돕거나, 오디오 모델로 언어 모델 성능을 높이는 등 실험을 진행해 기존보다 높은 정확도로 모달리티 학습을 촉진하는 효과를 확인했다. 오디오와 이미지처럼 직접 연관성이 적은 조합에서도 AI 학습 효과는 높아졌다.
윤정환 교수는 “서로 관련 없어 보이는 오디오와 이미지 조합에서 학습 성능이 향상된 것은 기존 멀티모달 학습 방식에 대한 고정관념을 깬 흥미로운 결과”라며 “정렬된 데이터셋 확보가 어려운 의료, 자율주행, 스마트AI 비서 등 다양한 분야에서 활용 가능성이 높다”고 말했다.
울산=임동식기자 dslim@etnews.com
