지역적 최소점과 전역적 최소점

우리는 눈앞의 작은 이익에 쫓겨 대국적인 면에서 평형을 잃는 경우를 흔히본다. 바둑이나 장기 등 게임에 있어서의 고수는 전체적인 형세판단이 가능한 사람이다. 부분적으로는 정수로 여겨지나 전체적으로는 악수가 되는 경우가 허다하기 때문이다. 공간적인 관점에서는 어느 정도 해결이 가능한 사실도 시간축에 대해서는 아직까지도 해결이 요원한 실상이다.

초기의 인공지능연구는 게임을 통한 지능의 구현을 목표로 하였다. 게임을 잘 할 수 있다는 점과 지능의 구현은 비록 직접적인 연관은 없을지라도 게임 을 잘 한다는 것은 게임을 못하는 것보다는 훨씬 지능적인 것으로 여겨질 수있기 때문이다.

그러한 의미에서 국지적 최소점(Local Mi-nima)과 전역적 최소점(Global Minima 의 구별은 매우 중요한 의미를 지닌다. 국지적 최소점이란 주어진 한정 된 범주내에서 최소의 에너지를 가지는 점이고 전역적 최소점이란 전체 범위 에서 가장 낮은 에너지를 가지는 점이다. 따라서 전역적 최소점을 찾는 것은지능적인 시스템의 구현에 있어서 매우 중요한 가치를 가진다.

백프로퍼게이션학습알고리듬은 다층의 구조를 가지는 신경망학습에 사용되는 방법인데 최급하강법을 기본으로한 매우 유용한 모델이다. 그러나 뛰어난기능에도 불구하고 그 방법론이 안고 있는 몇가지 심각한 문제점을 내포하고 있다. 첫째, 백프로퍼게이션알고리듬은 국지최소점에 빠질 가능성이 있다는 점이다. 최급하강법은 반드시 가장 낮은 골짜기를 향하게 되는 것이라기보다는 현재의 위치에서 가장 급격한 경사면을 따라서 내려가는 것이므로 오차가 완전한 0이 아닌 국지적 최소점에 머무를 가능성이 높다. 이와 같이 전역적 최소점이 아닌 국지적 최소점에서는 연결강도에 대한 오차함수의 미분계수가 0이므로 그곳에서는 탈출하지 못하고 오차가 남게 되는 상태에서 네트워크가 안정된다. 따라서 전체적인 견지에서 최소점을 찾는 신경망의 목표에 어긋나는경우가 생길 수 있다. 어떤 사람은 이 문제에 대해 극히 일부의 경우에만 국 지적 최소점에 빠지게 되므로 전체를 매도하는 것은 적합하지 않다고 주장한 다. 그러나 어느 것이 정확한 것이고 어느 것이 지역적 최소값으로 얻어진것인지에 대한 판단의 기준이 없다는 점은 눈여겨 봐야 할 매우 중요한 포인트라고 볼 수 있다.

둘째, 백프로퍼게이션 알고리듬은 포화영역에서는 제대로 잘 작동하지 않는다는 점이다. 이 경우 연결강도전체를 어떤 계수로 축소한다든가 포화함수를 천천히 변화시키는 등의 방법으로 해결할 수는 있지만 일반적인 것은 아니다셋째 이 방법은 신호가 입력에서 출력까지 한 방향으로만 흘러가는 전방향 이란 특징을 갖고 있다. 물론 백프로퍼게이션방법은 연결강도조정을 위해 출 력층에서의 오차값의 정도에 따라 은닉층으로의 피드백은 있지만 입력이 거꾸로 돌아오는 것은 아니다.

이러한일반적인 문제점으로 인해 신경망의 학습에 가장 많이 응용되고 있는백프로퍼게이션 학습알고리듬에서의 문제점들은 다음과 같다. 첫째, 학습이 완료될 때까지 수많은 횟수의 반복학습이 필요하다. 둘째, 응용 분야에 따라 학습패러미터의 조정이 필요하다. 셋째, 추가학습시 전체적인 재학습이 필요 하다. 넷째, 학습의 완료시점을 알 수 없다.

위에서지적한 문제점들을 해결하기 위해 지금까지 많은 노력이 경주 되었다. 그 결과 학습시간을 단축하기 위해 일괄수정법이 연구되었고 0과 1의 학습 목표대신에 0.1과 0.9를 사용하는 출력값의 제한법도 고안되었다. 그외에도패러미터의 효과적인 조정을 위해 모멘텀이나 수정모멘텀방법이 사용 되었으며 선택적 재학습이나 연결강도의 갯수를 축소하는 방법 등이 사용 되고 있다. 백프로퍼게이션 알고리듬을 사용하는 다층퍼셉트론모델은 여러분야에서 널리 이용되고 있다. 신경망에 대한 자세한 지식이 없는 사람일지라도 이미 알려진 프로그램을 사용하여 입출력을 넣는 방법만 알면 어렵지 않게 처리할 수있기 때문에 신경망의 대중화에 커다란 기여를 하였다.