자폐 스펙트럼 장애(ASD)를 가진 이들이 다양한 교류, 의사소통 상황을 가상 현실 (VR)로 실감나게 경험하는 훈련 프로그램이 개발됐다. 센서 기기를 활용해 훈련 시 사용자 상황을 면밀하게 파악하고 차후 이를 다시 살피며 재훈련하는 것도 가능하다.
홍화정 한국과학기술원(KAIST) 산업디자인학과 교수는 유희정 분당서울대병원 교수, 한경식 한양대 교수, 제니퍼 김 조지아공대 교수와 '생체 신호를 활용한 사용자 주도적 사회성 훈련 VR 프로그램'을 개발했다고 1일 밝혔다.
ASD를 가진 이들은 흔히 사회적 교류와 의사소통, 정서조절, 감각처리 등에 어려움을 겪는다고 알려져 있다. 연구진은 VR로 실제 ASD를 겪는 이들이 어려움을 느끼는 상황을 모사했다. 가상 경험을 바탕으로 이후 닥칠 실제 상황에 선적응하고 대응 전략을 키우는 것이 목표다.
연구진은 직장 생활에서 이뤄지는 다양한 시나리오를 구성해 VR 콘텐츠에 담았다. ASD를 겪는 이들이 특히 부담스러워할 수 있는 '상사에게 조퇴 요청하기' '손님으로부터 주문받기' '동료에게 도움 요청하기' 등 긴장 상황을 구성했다. 또 같은 시나리오 내에서도 긴장을 유발하는 사건이 각기 다른 시점에 일어나도록 해 여러 번 콘텐츠를 플레이해도 긴장감이 떨어지지 않게 했다.
VR 경험 시 사용자 상태는 헤드마운티드디스플레이(HMD) 아이트래킹·모션트래킹 기능, 웨어러블 시계 형태 E4 센서를 통해 측정된다. 목소리와 시선, 머리·몸 움직임, 체온, 심박 수, 전자기파 등을 실시간 저장하고 살필 수 있게 했다. 연구진은 이런 멀티 모달 센싱으로 사용자 긴장 정도를 분석하는 인공지능(AI) 기술을 구현, 시스템에 적용했다.
연구진은 이를 통해 ASD를 겪는 이들이 보다 객관적으로 자기를 이해하고, 직장생활에서 예측하지 못한 돌발 상황에 대처하는 방안을 찾을 수 있을 것이라고 설명했다.
이 프로그램은 시나리오 기획 과정에서부터 ASD를 가진 성인과 그 가족, 정신건강의학 전문의, 직업 훈련 관계자를 모두 포함했다.
실제 자폐 스펙트럼 성인 14명을 대상으로 한 시스템 효용성 테스트 결과 대부분 사용자가 시스템 활용 후 '자기 효능감'이 늘었다고 응답했다. 긍정적인 효과를 확인할 수 있었다.
홍화정 교수는 “병원과 협력해 실제 임상에도 우리 시스템을 적용할 계획”이라며 “사용자가 늘어나면 데이터를 축적해 콘텐츠 시나리오를 고도화하는 작업을 진행할 것”이라고 밝혔다.
김영준기자 kyj85@etnews.com
