빅 데이터 컨설팅 및 오픈소스 솔루션 개발 업체인 클라우다인(대표 김병곤)은 빅 데이터 플랫폼 소프트웨어인 Flamingo 1.1을 출시했다고 17일 발표했다.
Flamingo는 오랜 현장경험을 기반으로 Apache Hadoop을 사용하는 고객이 별도 개발없이 빠르게 빅 데이터 플랫폼을 구축할 수 있게 하는 웹 브라우저 기반 솔루션이다.
Flamingo 프로젝트는 OCE(Open Cloud Engine)(http://www.opencloudengine.org)라는 국내 클라우드 기반 오픈소스 프로젝트의 서브 프로젝트로써 약 2년 이상의 기획과 파일럿을 통해서 웹 브라우저상에서 Apache Hadoop EcoSystem을 손쉽게 사용할 수 있도록 운영, 관리, 개발 환경을 제공하는 것을 목표로 오픈소스(GPLv3)로 진행됐다.
Flamingo 프로젝트는 Apache Hadoop을 기반으로 빅 데이터 프로젝트를 진행할 때 발생하는 많은 어려움을 해소하기 위한 다양한 기능을 제공하는데 대표적으로 분산 파일 시스템을 웹에서 관리하는 파일 시스템 브라우저, 대용량 파일을 조회하는 Query Editor, 전처리 및 파일을 가공하기 위한 Pig Editor를 기본으로 내장하고 있으며 MapReduce 기반 다양한 분석 애플리케이션을 많은 사용자들이 재사용할 수 있도록 데이터 분석 플로우를 설계할 수 있는 워크플로우 디자이너 및 다양한 분석 MapReduce 모듈(전처리, 비정형정형 변환, 웹 서버 로그 처리, 기초 통계, 각종 마이닝 알고리즘, 추천 등)을 제공한다.
이번에 출시한 1.1 버전에서는 배치 작업 관리, Hadoop 모니터링, 워크플로우 엔진 모니터링 그리고 Hive의 데이터베이스 관리(메타 데이터 관리 포함) 기능이 추가됐다. 1.1 버전은 사용자가 워크플로우 디자이너를 이용하여 비정형을 정형 데이터로 변환하고 변환된 결과를 파일 시스템 브라우저에서 Hive 데이터베이스로 변환하여 빅 데이터 질의를 통해서 원하는 결과를 추출할 수 있는 것이 최대 장점이다.
클라우다인 김병곤 대표는 "빅 데이터 플랫폼이라 함은 빅 데이터 인프라 관리자에게 유용한 정보를 제공할 수 있어야 하고, 특히 데이터를 활용하는 다양한 개발자 및 분석가를 위한 환경을 제공해야 하지만 실제로 빅 데이터 플랫폼이라는 것이 고작 운영자를 위한 환경을 제공하는 것이 대부분이다. 이런 환경에서는 데이터 처리와 분석에 집중할 수 없다. Flamingo는 데이터를 처리하고 분석하는데 집중할 수 있도록 설계되었고, 이는 Hadoop EcoSystem에 최적화 되어 있다"라고 말했다.
이번에 출시한 Flamingo 1.1 버전에서 강조한 부분은 Hadoop Job을 모니터링하는 기능으로 Hadoop 배포판에 상관없이 어떤 배포판이든 모니터링할 수 있으며 Job Tracker의 모든 정보를 볼 수 있어서 기존에 Hadoop을 이용하던 개발자와 운영자의 답답함을 해소한 점이다.
김병곤 대표는 "Flamingo는 향후에 사용자별 권한 관리 및 용량 제한, 다양한 분석 모듈 탑재 등을 통해서 많은 사용자가 환경 구축에만 치우쳐져 있는 문제를 해소하고 잘 보이지 않는 플랫폼 영역을 시각적으로 보이도록 하여, 데이터를 활용하고 분석하는 업무에 집중할 수 있도록 할 것이며 사용자의 업무 행위를 파악하여 최적화된 플랫폼 통합 기술을 적용할 것"이라고 말했다.
Flamingo 1.1은 2월 19일 저녁 Source Forge(http://sourceforge.net/projects/hadoop-manager)에 공개돼 전세계 누구나 다운로드하여 사용할 수 있다.
온라인뉴스팀
