데이터가 기하급수적인 속도로 증가하고 있지만, 데이터의 80%는 구조화되어 있지 않고 오직 1% 정도의 비정형 데이터만이 사용되고 있다. 새로운 기회를 창출할 수 있는 비정형 데이터는 조직의 가장 큰 가치의 원천이다.
비정형 데이터에 대한 빠른 액세스와 안전한 저장은 곧 기업의 수익 원동력으로 전환된다. 엔터프라이즈의 규모와 성능을 모두 충족하며 클라우드 네이티브 애플리케이션, 데이터 레이크, 빅데이터 분석 등 새로운 워크로드를 지원하는 ‘오브젝트 스토리지’가 주목 받고 있다.
오브젝트 스토리지는 파일에 대한 상세 정보를 포함한 메타데이터를 자동으로 생성·보관·관리하며, 기존 스토리지와 다른 접근 방식을 취한다. 수억 또는 수십억 개 파일을 객체(object)화 해 고유 ID를 가지고 데이터를 관리함으로써 경제성과 효율성을 높여준다. 데이터 관리, 보호 자동화, 검색을 통한 거버넌스 대응 등 차별화된 확장성도 제공한다.
다양해진 오브젝트 스토리지 활용… 하둡∙빅데이터 분석∙정보계∙IoT 응용
불과 1년 전만 해도 국내에서 오브젝트 스토리지는 금융기업의 컴플라이언스, 거버넌스 대응, 공공기관의 데이터 영구 보관을 위한 아카이브, 정책 기반 데이터 운영 등을 주 목적으로 하는 보조 스토리지 개념이었다. 그러나 최근 하둡, 빅데이터 분석, 정보계 응용과 같은 활용 사례가 증가하고 있다.
하둡은 데이터 분석을 위한 대표적인 플랫폼이다. 그러나 대용량 데이터를 처리해야 하는 시스템의 특성 및 하둡 파일시스템의 데이터 보호 기술은, 굉장히 많은 양의 리소스가 필요하며 비용 고민으로 연결된다. 이를 해결하기 위해 대형 하둡 환경에 오브젝트 스토리지를 도입하는 사례가 증가하고 있다. 하둡 에코가 직접 액세스 할 수 있을 뿐만 아니라 대용량 데이터를 수용할 수 있는 성능, 데이터 관리 및 보호, 비용 효율적인 확장성을 지원하는 오브젝트 스토리지는 대형 하둡 환경에서 최적의 솔루션이다.
데이터 웨어하우스(DW), 비즈니스 인텔리전스(BI), 데이터 마트(Data Mart), 빅데이터 솔루션 등 정보계 시스템 인프라에서도 오브젝트 스토리지 활용이 증가하고 있다. 오브젝트 스토리지의 장점을 발휘하여, 데이터 백업, 공유, 활용이 필요한 부분의 연계와 효율성을 높여준다. 예를 들어 REST 또는 S3 API를 활용하면 시스템 호환성에 무관하게 데이터에 액세스하고, 컨트롤러 자원과 디스크 자원이 분리된 아키텍처를 통해 비용 효율적으로 저장장치 인프라를 운영할 수 있다.
IoT 인프라에서 오브젝트 스토리지는 대용량 데이터 관리 방법으로 활용된다. IoT 데이터를 운영하는 환경이나 제조 분야 공정관리시스템의 경우 많은 양의 데이터를 일정 기간 이상 유지 관리해야 하고 혹시 모를 데이터 손실을 사전에 방지해야 한다. 기존 블록 스토리지나 NAS 환경에서는 파일이 많을수록 액세스 성능이 낮아지고 백업에 많은 시간이 소요되므로 대응이 어렵다.
반면 오브젝트 스토리지는 수많은 파일을 쉽게 관리할 수 있는 환경으로 운영 시스템이 요청할 때 필요한 데이터만 선택해 제공하기 때문에 많은 양의 파일을 운영하는 환경에 적합하다. 특히 AI 학습이나 빅데이터 분석을 위해 사용되는 IoT 데이터는 한가지 포맷이나 타입으로 운영되지 않고 이미지, 로그, 동영상 등 다양한 타입으로 존재하므로 수집되는 데이터 양이 많고 요구되는 워크로드 처리 성능도 높다. 오브젝트 스토리지는 이 같은 대용량 IoT 데이터 저장소로 적합한 아키텍처로, 뛰어난 총소유비용(TCO) 절감 효과를 제공하고 S3 API 만으로 쉽게 데이터를 운용 및 활용할 수 있다.
지능형 데이터 관리에 탁월
최근 방대해진 데이터 규모로 데이터 운영 및 관리에 많은 리소스와 비용이 요구되고, 데이터 레이크의 효과적인 운영 방안도 고민해야 한다. 기업은 오브젝트 스토리지를 통해 데이터 운영 정책과 거버넌스를 준수하고, 데이터 수집부터 분석, 서비스 운영∙관리까지 균형 있게 진행할 수 있다.
효성인포메이션시스템의 HCP는 대규모 비정형 데이터 환경의 안정적인 운영과 공유 서비스를 단일 플랫폼에서 지원하는 오브젝트 스토리지 솔루션이다. 중앙에서 엣지(Edge)까지 아우르는 데이터 관리, 모바일 및 분산된 업무 환경 지원, 클라우드 티어링, 통합 데이터 인텔리전스 같은 기능을 제공하며 클라우드, IoT, 머신러닝 등 차세대 워크로드로 확장되고 있다.
특히, 최근 업계 최초로 컨테이너 기반 MSA(마이크로 서비스 아키텍처)를 적용해 전체적인 시스템 성능 향상과 아키텍처 구성의 유연성을 보장하는 ‘HCP Cloud Scale(HCP CS)’를 통해 클라우드 확장과 지능형 데이터 관리를 지원한다.
데이터셋이 증가하고 다양한 데이터소스로 분산 저장됨에 따라 데이터 관리와 정보 보안이 오브젝트 스토리지의 핵심 기능으로 자리잡게 될 전망이다. 궁극적으로 오브젝트 스토리지는 생산 부문 워크로드 지원은 물론, 온프레미스나 오프프레미스를 망라한 모든 환경에서 꾸준히 수요가 증가할 것이다.
김도진 효성인포메이션시스템 데이터사업팀 차장 his-djkim@hyosung.com
