서울대학교 컴퓨터공학부 전병곤 교수팀이 딥러닝 모델을 자동으로 빠르게 분산학습하는 시스템 '패럴랙스(Parallax)'를 개발했다.
딥러닝 기술은 이미지처리, 음성인식, 자율주행 등 다양한 분야에서 활용되고 있다. 최근 딥러닝 모델 학습시간을 단축시키기 위해 많은 그래픽처리장치(GPU)를 사용하는 분산학습에 관한 연구가 이뤄지고 있다.
기존 연구방식은 희소텐서보다 밀집텐서를 사용하는 이미지 처리 모델 연구에 치중됐다는 지적이다. 자연어 처리 모델은 이미지 처리 모델과는 다르게 사용되는 파라미터 희소성이 크다. 기존 분산학습 시스템은 파라미터 희소성을 잘 활용하지 않아 희소 파라미터를 포함한 모델 분산학습 성능이 밀집 파라미터만 사용하는 모델에 비해 낮았다.
전병곤 교수팀이 제안한 패럴랙스는 파라미터 희소성을 고려한 최적화 기술로 빠르게 분산학습이 가능한 시스템이다. 패럴랙스 시스템에서는 파라미터의 희소성에 따라 밀집 파라미터와 희소 파라미터에 각각 다른 학습 아키텍처 방식을 혼용한 하이브리드 분산학습 아키텍처를 사용한다.
또 머신 별로 미리 데이터를 처리하고 크기를 줄인 뒤 다른 머신에 전송해 머신 간 통신량을 줄이고 크기가 큰 희소 파라미터를 효율적으로 처리하기 위한 파티셔닝을 사용한다.
전 교수는 “이미지 처리 모델 성능은 유지하면서 자연어 처리 모델 성능은 기존 시스템 대비 최대 6배 향상시켰다”면서 “하나의 GPU에서 개발한 모델을 많은 GPU에서 학습할 수 있도록 자동으로 변환해 사용성을 크게 증가시켰다”고 밝혔다.
연구결과는 오는 3월 독일 드레스덴에서 개최될 시스템분야 최우수학회 유로시스(EuroSys : European Conference on Computer Systems)에서 발표될 예정이다.
이준희기자 jhlee@etnews.com
