페이스북이 자체 개발한 빅데이터 분석 도구를 공개소프트웨어로 풀었다. 300페타바이트에 달하는 페이스북의 막대한 데이터를 수 초 안에 분석하는 소프트웨어다. 오라클·EMC·SAP·IBM·마이크로소프트 등 기존 빅데이터 분석 솔루션을 파는 기업 입장에서는 껄끄러운 경쟁자다.
페이스북은 7일 빅데이터 분석 도구 `프레스토(Presto)`를 개발해 아파치 라이선스로 공개한다고 밝혔다. 페이스북은 `최소 비용으로 효율적인 컴퓨팅 인프라를 구축하자`는 오픈컴퓨트 프로젝트를 추진 중이다. 자사 데이터센터 구축 기술과 서버 디자인, 컴퓨터 설계도면 등을 모두 공개했다. 프레스토 역시 이 문화에 따른 공개소프트웨어다.
페이스북은 300페타바이트에 달하는 엄청난 내부 데이터를 분석하려고 프레스토를 만들었다. 지난해 가을 데이터 인프라스트럭처 그룹 안에 팀을 꾸려 빅데이터를 보다 빠르고 효율적으로 분석하는 소프트웨어 개발에 주력했다. 프레스토는 기술적으로 말해 `분산된 SQL 쿼리 엔진`이다.
1000여명의 페이스북 직원은 매일 300테라바이트에 달하는 막대한 데이터를 스캐닝 하는 용도로 프레스토를 활용한다. 세계 최대 데이터베이스에서 기능과 성능을 검증한 셈이다. 페이스북은 이 도구가 기존에 많이 쓰는 하이브/맵리듀스보다 CPU 효율성과 대기 시간이 10배 빠르다고 설명했다.
프레스토 성능은 상용 빅데이터 분석 기업에게 큰 위협이다. 오라클과 테라데이터 등은 공개소프트웨어는 성능과 기능이 떨어진다고 주장했다. 페이스북은 프레스토를 빅데이터를 활용한 기업이나 조직이 사용하도록 적극 지원한다. 이미 에어비앤비와 드롭박스가 프레스토 활용 시험에 들어갔다.
마틴 트라버소 페이스북 엔지니어는 “과거 페이스북 데이터 과학자와 분석가는 하이브에 의존했지만 너무 느려 자체적으로 프레스토를 개발했다”며 “공개소프트웨어로 전환해 기능과 성능을 더욱 개선할 것”이라고 말했다.
김인순기자 insoon@etnews.com
