IBM은 2008년 말 교통과 보건·에너지·유통·도시·환경·지역개발 등 다양한 영역에서 발생되는 문제들을 첨단 IT와 지능화된 컴퓨팅 기술을 활용해 ‘더 똑똑한(smarter)’ 시스템으로 혁신하자는 ‘스마터 플래닛(Smarter Planet)’을 제안했다.
IBM은 성공적인 마케팅 및 커뮤니케이션 활동을 통해 1200여개의 성공사례를 만들며 전 세계에서 금융·유통·통신·물류 등 다양한 산업 분야에서 스마트 빅뱅의 새로운 가치를 창출했다.
스마트 빅뱅 혁명을 주도하고 있는 IBM은 2011년 세계를 깜짝 놀라게 할 슈퍼컴퓨터 ‘왓슨’을 공개한다.
왓슨 프로젝트를 진두지휘하고 있는 데이비드 페루시(David Ferrucci) IBM 왓슨 리서치 센터 박사와 일문일답을 통해 IBM이 제시하는 스마트 빅뱅 기술을 들어봤다.
-‘왓슨(Watson)’ 프로젝트란 무엇인가.
▲지난 3년간 IBM 과학자들은 최고 수준의 질의응답(QA) 시스템, ‘왓슨’ 개발에 매진해왔다. 이 QA 시스템 개발에서 가장 중점을 두는 부분은 복잡한 질문과 답변을 제퍼디(Jeopardy)에 견줄 정도로 매우 정교하고 확실하며 빠르게 이해할 수 있는 컴퓨팅 시스템을 개발하는 것이다. 왓슨이라는 이름은 IBM의 설립자 토마스 J 왓슨(Thomas J Watson)을 기리기 위해 선정됐다.
IBM 컴퓨팅 시스템 ‘왓슨’은 사람의 지적 능력을 상대로 도전할 수 있도록 설계돼 단어 이면에 감춰진 실제 의미를 이해하고, 연관성 유무에 따라 콘텐츠를 식별하여 제퍼디 참가자들 중에서 최고의 실력자들과 경쟁하더라도 매우 정교하고 빠르게 대답할 수 있다는 것을 입증할 수 있다.
이 시스템의 개발 과제는 게임보다 훨씬 흥미진진했다. 제퍼디는 역사·문학·정치·영화·팝 문화 및 과학 등 여러 가지 주제에 관한 지식을 요구한다. 또, 제퍼디 힌트들은 반어법, 수수께끼, 미묘한 의미 분석, 전통적으로 사람만 할 수 있고 컴퓨터는 풀지 못하는 여타의 복잡한 문제들을 다룬다. 참가자들이 짧은 시간 내에 대답해야 하기 때문에, 컴퓨터 시스템에게는 제퍼디가 엄청난 도전이나 마찬가지다. 컨피던스 처리 능력은 제퍼디에서 우승하기 위한 필수적인 요소이며 QA의 유용한 비즈니스 애플리케이션을 실행하는데 매우 중요하다.
-왓슨에 도입된 컴퓨팅 및 기술은 무엇인가.
▲IBM 파워7 시스템에 의해 구동되는 왓슨은 분석기법이라 불리는 정교하고 진보된 알고리듬으로 만들어졌다. 왓슨은 동시 분석 기능이 풍부하게 통합돼 있으며, 상대하는 사람과 마찬가지로 인터넷에 연결되거나 외부의 도움을 받을 수 없다.
언어 분석을 위해서, 단 하나의 지능적이고 새로운 기술을 설계하는 것만이 해결책은 아니다. 실제로, 왓슨에 채택된 많은 통계기법은 컴퓨터 과학자들에게 잘 알려져 있는 기술이다. 왓슨을 차별화하는 중요한 요소는 엄청 빠른 속도와 메모리에 있다. IBM이 슈퍼 컴퓨팅을 얼마나 중요하게 생각하는지 고려하여 IBM 팀은 수백만건의 문서를 왓슨에 투입하고 지식 기반을 구축했는데, 여기에는 책, 참고 자료, 모든 종류의 사전, 대중 분류법, 분류 체계, 백과사전, 소설, 성경, 희곡 등 사람이 사용할 수 있는 모든 종류의 참고 서적이 망라되어 있다.
왓슨의 속도는 수천 가지 방식을 동시에 사용해 제퍼디 힌트를 통해 끊임없이 해답을 찾는 것을 가능하게 한다. 대부분의 QA 시스템은 알고리듬이 몇 개에 불과하지만, IBM 팀은 그래서는 효과를 볼 수 없다고 판단했다.
단일 알고리듬으로는 언어와 사실을 분석하는 인간의 능력을 따라 할 수 없다. 실제로, 왓슨은 100개 이상의 알고리듬을 동시에 사용하여 질문을 다양하게 분석함으로써 수백 가지 솔루션을 만들어낸다. 또 다른 세트의 알고리듬들이 개연성에 따라 답변의 순서를 정한다. 예를 들면, 서로 다른 방향에서 작용하는 수십 개의 알고리듬이 동일한 답변에 도달하면, 정답일 가능성이 매우 높다. 본질적으로, 왓슨은 확률을 고려한다. 단 하나의 정답을 만들어 낼 뿐만 아니라, 매우 많은 경우의 수를 계산한 다음 각각의 답변이 질문에 어떻게 연관되는지를 평가하여 순위를 매기는 것이다.
왓슨은 ‘QA’로 알려진 질의 및 응답의 과학 분야에서 사람과 견줄 수 있는 수준을 달성했다. 왓슨 소프트웨어는 IBM 파워7 서버로 구동되며 이 서버는 왓슨이 제퍼디 힌트에서 주어진 복잡한 언어를 빠르게 분석하여 정답을 맞혀야 하는 엄청나게 많은 작업을 처리하는데 최적화되어 있다. 이 시스템은 매우 많은 양의 동시 작업 및 데이터를 처리하면서도 실시간으로 정보를 분석하는 등 특수 요구에 맞는 여러 가지 특허 기술이 통합되어 있다.
-이 프로젝트에 채택된 컴퓨팅 및 기술이 세상과 미래의 기술에 중요한 영향을 미치는 이유는.
▲왓슨의 기술은 여러 가지 문제점을 해결하고 다양한 분야를 발전시키는데 도입될 수 있다. 이 컴퓨터는 방대한 양의 데이터를 면밀하게 조사해 여러 답들 중에 신뢰도를 매기면서 정확한 답을 제시한다.
이러한 기술은 헬스케어 같은 분야에 적용되어 환자를 정확하게 진단하고, 온라인 셀프 서비스 방식의 헬프 데스크를 개선할 수 있다. 또한 관광객 및 시민들에게 도시 정보를 제공하는 것은 물론, 전화를 통한 신속한 고객 지원 등이 가능하다.
IBM 회장이자 사장 겸 CEO인 사무엘 J 팔미사노(Samuel J Palmisano)는 “의사결정의 본질은 방대한 양의 데이터에서 패턴을 인지하고, 선택 사항을 검토하여 신속하고 정확하게 대응하는 것”이라고 말했다. 그는 “왓슨은 기업·산업·도시 등 우리가 사는 세상이 어떻게 보다 똑똑해지고 있는지 보여주는 좋은 사례다. 고급 컴퓨팅 기능과 심도 있는 분석기법을 통해, 우리는 비즈니스와 사회 시스템에 인텔리전스를 접목시킬 수 있다. 이 프로젝트는 기초연구 분야와 과학 및 기술 분야에서 ‘어려운 도전과제’를 해결하기 위해 노력하는 IBM의 오랜 헌신을 잘 반영하고 있다”고 말했다.
-IBM에서 이 프로젝트를 추진하는 이유는 무엇인가. 이 프로젝트가 IBM의 스마터 플래닛 어젠다와 어떻게 연계되는가.
▲왓슨의 근간을 이루는 연구는 컴퓨터의 지능을 증대하고 사람 대 컴퓨터의 통신 능력을 한 차원 높이는 것이다. IBM은 고유의 기술 역량을 왓슨에 적용하기 위해 개발 중이며, 이를 통해 고객들은 다양한 분야에서 비즈니스 질의에 신속하고 정확하게 답변할 수 있다.
이번 시합 자체도 흥미롭지만, 우리 팀은 왓슨의 획기적인 컴퓨팅 능력을 통해 똑똑한 세상을 만들고 비즈니스 업무 및 일상생활에서 사람들을 지원할 수 있다는 믿음에 매우 고취되어 있다. IBM의 연구원들, 대학교 파트너 및 고객사들과 일하면서 우리는 의료·정부·금융시장·교통 및 콜센터 등 왓슨의 QA 기술이 적용될 수 있는 잠재적인 사용처를 파악하고 있다. 물론 이 분야들에만 국한되는 것은 아니다.
또한 왓슨은 스마터 플래닛 구축을 통한 혁신에 있어서, 특히 업무량 최적화 시스템과 분석기법 분야에서, IBM의 리더십을 보여주는 아주 좋은 사례이다.
-왓슨 프로젝트 이후의 연구 분야는 무엇인가.
▲제퍼디 시합에 참가하는 것이 왓슨 프로젝트의 최종 목표는 아니다. 다양한 지식 분야에 대해 사람의 언어로 사람과 상호작용을 하는 능력은 지금까지 어떤 컴퓨터로도 입증하지 못했으며, 이러한 능력을 선보인다는 점에서 매우 획기적이라 할 수 있다. 우리는 IBM 연구자들, 대학교의 연구자들 및 고객들과 함께 헬스케어, 공공·금융 시장, 교통 시스템 및 운송, 콜 센터 등 왓슨의 QA 기술에 감춰진 다양한 용도에 대해 연구하고 있다.
김인순기자 insoon@etnews.co.kr
