우리는 정보 범람의 시대에 살고 있다. 통신망을 통해 전달되는 정보의 양이 많아지고 있으며 정보의 양을 측정하고 전달하는 과정을 예측하는 일은 정보화 시대에 매우 중요한 작업이다. 정보의 양을 측정하고 이를 저장하거나 통신하기 위해 정보를 정량화하는 시도가 정보 이론이다. 정보이론이란 말은 1916년 4월 30일 미국에서 태어난 클로드 엘우드 섀넌에서부터 시작됐다. 2001년 사망한 섀넌은 정보 이론의 아버지로도 불리며, 디지털 회로 설계 이론을 창시한 인물이다.
1949년 그는 벨(Bell)사 연구저널에 발표한 논문에서 정보이론(Information theory)이라는 말을 최초로 사용했으며, 정보를 ‘인간과 인간 사이에서 전달되는 일체의 기호’라고 정의했다. 섀넌 이론에서 정보는 의미보다는 하나의 신호(signal)로 해석된다. 그것이 이미지든, 텍스트든 0과 1로 이뤄진 비트(Bit)의 조합이 정보다. 흔히 우리가 이해하는 정보인 뉴스나 특종기사뿐만 아니라 문자·음성·화상 및 생체의 유전자 등 넓은 의미의 정보가 여기 포함된다.
섀넌의 정보 이론에서 데이터 단위는 정보 엔트로피로 보통 저장 또는 통신에 사용되는 평균적인 비트 수로 표현된다. 예를 들어 매일의 날씨 정보가 3비트의 엔트로피를 가진다면, 하루의 날씨를 평균 약 3비트로 기술할 수 있다.
섀넌은 정보를 확률과정으로서 파악, 정보량을 확률과정론에 도입하여 넓은 의미에서 정의하고, 잡음에 의한 영향을 고려하였으며, 정보량으로서의 엔트로피라든가 정보로의 통신용량의 개념 등 많은 새로운 개념을 도입했다.
정보 엔트로피는 열역학에서 엔트로피와 유사한 개념으로 정보 엔트로피가 높을수록 불확실성은 커진다. 반대로 계에서의 정보량은 불확실성의 정도이므로 불확실성이 적은 계의 정보 엔트로피는 줄어들 수 있게 되는 것이다. 섀넌이 확립한 정보 이론은 오늘날에도 많은 영향을 미친다. 대표적인 예가 현재 데이터 압축 기술에도 섀넌은 영향을 미쳤다. ZIP 파일(무손실 데이터 압축), MP3파일(손실 데이터 압축)과 같은 압축 파일 기술이 섀넌의 이론에 기반을 두고 발전했다.
섀넌이 확립한 정보 이론은 이 외에도 보이저 계획의 성공, 콤팩트 디스크의 발명, 휴대전화의 실용화, 인터넷의 개발, 언어학과 인간 지각의 연구, 블랙홀의 이해 등 많은 곳에 큰 영향을 끼쳤다.
<이수운 기자의 백투더 퓨쳐는 4월 28일자를 끝으로 막을 내립니다. 그동안 성원에 주신 독자 여러분 감사드립니다.>
이수운기자 pero@etnews.co.kr
