한국과학기술원(KAIST·총장 신성철)은 전산학부 이재길 교수팀이 심층 학습(딥러닝) 모델 예측 정확도와 훈련 속도를 대폭 향상시키는 새로운 학습 기술을 개발했다고 20일 밝혔다.

딥러닝 모델은 반복적으로 모델 매개변수를 최적화하는 방식으로 학습이 이뤄진다. 반복할 때마다 훈련 데이터로부터 일부 데이터 샘플을 선정해 최적화에 사용한다. 선정 데이터 샘플을 배치(batch)라 부른다. 무작위로 배치를 선택하면 항상 최고 수준 정확도가 보장되지 않아, 더 나은 배치 선택 방법 연구가 활발히 진행되고 있다.

Photo Image
<연구팀에서 개발한 심층 신경망(최신 편향) 동작 개념도>

연구팀이 개발한 기술은 학습 진행 상황에 맞게 최적 배치를 구성한다. 학습 단계에 가장 도움이 되는 데이터를 선택하기 위해 이전 추론 결과를 활용한다.

단계별 추론단계에서 결과가 매우 일관적이면 해당 데이터가 너무 쉽거나 어려워 학습에 도움이 되지 않는다고 판단한다. 추론 결과가 일관적이지 않다면 추론에 혼동이 있는 것으로 보고, 꼭 필요한 데이터로 판단하게 된다.

연구팀은 새로 개발한 배치 선택 방법론을 '최신 편향(Recency Bias)'이라고 이름 붙이고, 다양한 합성 곱 신경망(CNN) 학습에 적용했다. 그 결과 이미지 분류 문제 예측에서 기존 방법론 대비 오류를 최대 21% 감소시키는 것으로 나타났다. 훈련 시간(심층 신경망 미세 조정 문제)은 최대 59% 단축됐다.

Photo Image
<송환준 KAIST 박사과정>

논문 1저자인 송환준 박사과정은 “이번 연구는 딥러닝 핵심 기술”이라며 “다양한 심층 신경망에 폭넓게 적용할 수 있어 전반적인 성능 개선에 기여할 것”이라고 말했다.

Photo Image
<이재길 KAIST 교수>

이재길 교수는 “이 기술이 텐서플로우(TensorFlow) 혹은 파이토치(PyTorch)와 같은 기존 심층 학습 라이브러리에 추가되면 기계 학습 및 심층 학습 학계에 큰 파급효과를 낼 수 있다”고 말했다.

대전=김영준기자 kyj85@etnews.com