AI · Big Data · Cloud 매니지먼트 전문기업 디딤365는 전자신문인터넷과 GTT KOREA가 공동으로 주최하는 'Data Insight & Security Summit(DISS) 2024'에서 'LLM(Large Language Model) 도입을 위한 최적의 LLMOps 구성 방법 및 사례'를 발표하고 AI 신기술 지원을 결합한 'DidimAMP(Didim AI Managed Platform)'를 공유했다.
이번 DISS 2024는 'AI transformation, Data innovation'을 주제로 AI 기반 데이터 활용과 전략 수립에 난항을 겪고 있는 기업에게 효과적인 데이터 관리와 인사이트, 데이터 보안 전략으로 총 20개의 세션 발표와 참여 기업들의 AI · 데이터 솔루션을 체험할 수 있는 전시 부스가 진행됐다.
디딤365는 LLM 도입의 전반적인 프로세스를 조망하고, LLMOps 구성 및 LLM 성능 향상 방법, 다양한 형식의 데이터의 LLM 연계 방안, LLM 모델에 맞는 최적의 CI/CD 구성 방법, 서비스 별로 LLM 적용 시 고려 필요 사항, sLLM 연계 방법 등을 공유했으며, 부스에서는 AI 및 Big Data 솔루션 컨설팅을 진행했다.
특히 세션 발표에서 AI를 비즈니스에 도입하는 고객에게 데이터 구축, AI 모델 개발, 인프라 설계·구축·운영 및 관제 등 AI 서비스 구축 전과정을 지원하는 통합서비스인 DidimAMP를 발표했다. DidimAMP는 MLOps/LLMOps 구성을 위해 데이터옵스 매니지먼트, MLOps/LLMOps 매니지먼트, 데브옵스 매니지먼트, LLM 워크플로우 매니지먼트, LLM 서비스 등의 기술 스택을 제공한다.
DidimAMP 솔루션 및 MSP 서비스 도입으로 공공부문 및 기업은 보유한 다양한 형태의 데이터를 LLM 적용에 맞도록 빠르고 쉽게 구축할 수 있으며, MLOps 플랫폼은 물론 PoC가 가능한 기본 챗봇 서비스를 제공해 고객이 서비스에 대한 빠른 검증과 의사 결정이 가능하다. 또한 AI 서비스 구축을 위한 기본 플랫폼과 쉬운 관리 기능을 제공하므로 AI 인력 부족에 따른 어려움을 해소할 수 있고, 유연하고 안정적인 인프라 구성을 통해 비즈니스 수요 및 목표를 달성할 수 있다.
김용경 디딤365 상무는 “챗GPT로 촉발된 LLM 기반 생성AI는 기존 AI 기술이 기업의 특정 문제를 해결하던 것과 달리 산업 전 분야 비즈니스에 활용되고 있다”며 “디딤365는 클라우드 운영을 넘어 고객이 도입하려는 최신 기술에 대한 컨설팅, 설계 및 개발 외에도 데이터 활용을 지원하며 AI 생태계 확장에 앞장서겠다”고 밝혔다.
한편 이날 디딤365는 빅데이터를 기반으로 기업 마케팅 활동을 지원하는 캠페인 매니지먼트 솔루션 DidimCM과 데이터 수집·처리·적재·모니터링 시스템 DidimDP도 함께 소개했으며, 네이버클라우드 하이퍼클로바X MSP 파트너로 참여해 LLM 기반의 AI 챗봇 서비스 및 파인 튜닝과 RAG(Retrieval-Augmented Generation)를 적용해 지식 관리 시스템을 구축 경험을 공유했다.
이원지 기자 news21g@etnews.com
