AI 기술에서 AI 솔루션과 서비스로 거듭나기 위한 핵심 솔루션 공개
AI, 특히 생성AI에 대한 조직들의 기대감이 점점 더 높아지고 있는 가운데, 이를 도입해 기업의 생산성과 경쟁력을 향상시키려는 시도가 끊임없이 이어지고 있으며, AI의 도입을 위한 갖가지 솔루션이 등장하고 있다.
하지만, 과연 어떤 분야에 어떤 AI가 적합하고, AI 도입을 위해 준비해야 할 사항, 그리고 AI가 변화시킬 비즈니스 프로세스에 대한 명확한 전략 없이는 성공적인 도입이 어려울 수밖에 없다.
또한 많은 사람들이 간과하고 있는 사실 중 하나는 AI는 하나의 솔루션으로 구현하는 것이 아닌, 여러 가지 솔루션이 복잡적으로 작용해 하나의 거대한 플랫폼을 이뤄야 하기 때문에 일반 기업들이 구매하고 도입, 적용하는 단순한 과정으로 구현될 수 없다는 것 또한 문제다.
현재 많은 기업들이 생산성 향상, 그리고 변화에 대한 탄력적이고 유연한 대응, 경쟁력의 확보 등 여러가지 이유로 AI와 빅데이터를 적극적으로 수용하고 있지만, 특히 AI와 관련해 아직도 해결해야 할 과제가 산적해 있다.
특히 실제 비즈니스 환경에 AI를 적용하기 위해서는 인프라 구축에서부터 적절한 AI 서비스, 그리고 LLM의 선택, 그리고 이들의 학습과 AI 애플리케이션 개발, 배포, 관리, 그리고 심지어 인력 충원과 개발자 양성에 이르는 다양한 영역을 아우르는 전략과 실행 방안이 필요하다.
이외에도 생성AI로 인해 드러나고 있는 데이터 보안과 거버넌스 등의 문제에 대한 해결 방안도 필요하다. 서서히 AI와 관련된 법적인 규제나 규정이 제정되고 있는 상황이기에 이에 대한 대비 또한 필요한 것이다. 특히 AI의 품질은 학습 데이터의 품질에 의해 좌우되는 만큼 양질의 학습 데이터를 어떻게 확보하고 활용할 것인가에 대해서도 준비가 필요하다.
AI 관련 기업들은 저마다 신뢰할 수 있는 AI, 책임있는 AI를 외치고 있지만, 신뢰할 수 있고 책임있는 AI가 기존 AI와 어떤 측면에서 다르고, 이를 위해 우리가 준비해야 할 것은 무엇인지 또한 고민해야 할 문제다.
문제는 이런 AI 기술이 아직 초기 개발 단계임에도 불구하고 수많은 영역에 빠르게 적용되기 시작하면서 여러 부작용이 드러나고, 심지어 많은 조직들은 AI를 어떻게 활용해야 할 것인지에 대해 올바른 방향을 잡지 못하고 있는 상황이다.
따라서 실제 비즈니스에 AI 도입을 위해서는 어떤 솔루션과 서비스가 AI의 비즈니스 프로세스 적용에 실제적인 도움을 줄 수 있는 지 확인해 볼 필요가 있다.
기업들은 AI를 도입할 때, 다양한 AI 모델에 데이터를 학습시키고 유지 관리하는 데 상당한 어려움을 겪어왔다. 이 때 등장한 것이 FM(Foundation Model)이다. FM은 레이블이 지정되지 않은 방대한 양의 데이터를 사전에 학습한 AI 모델이다. 조직에서 AI를 활용할 때 FM을 사용하면 AI를 학습시키기 위한 데이터 준비와 학습에 들어가는 시간과 비용을 크게 절감할 수 있다. 또한, 레이블이 지정된 데이터를 이전 방식보다 10~100배 적게 사용할 수 있어, 쉽게 적용할 수 있다. 따라서, 조직에서 결과를 창출하는 시간이 단축되고, 내부 팀의 생산성을 향상할 수 있다.
FM은 생성AI를 가능하게 하는 기본 바탕이다. 그러나, FM과 생성AI에 있어서 소비자용과 비즈니스용 AI 애플리케이션이 다르다는 점을 기억해야 한다. 오늘날 기업은 신뢰할 수 있는 데이터, 속도, 거버넌스를 통해 조직 전체에 AI를 활용하기 위한 전 과정을 아우르는 모든 기술과 서비스가 필요하다. 그리고, 모든 클라우드 환경(온프레미스와 퍼블릭, 프라이빗 클라우드)에 걸쳐 실행할 수 있어야 한다.
이런 비즈니스의 요구조건을 반영해 IBM에서 발표한 AI 플랫폼이 왓슨x다. 왓슨x는 기존 머신러닝이나 최신 파운데이션 모델을 구축, 개선할 수 있는 기업용 AI와 데이터 플랫폼으로, IBM은 왓슨x를 왓슨x.ai, 왓슨x.데이터, 왓슨x.거버넌스 등 3가지로 구성하고 있다.
IBM 왓슨x.ai는 차세대 기업용 AI 스튜디오다. AI 개발자들이 머신러닝을 기반으로 AI를 구축, 실행, 배포할 수 있도록 지원하는 IBM 왓슨 스튜디오 기술과 FM의 성능을 활용하는 최신 생성AI 기술을 결합했다.
이 AI 스튜디오는 고객이 자체적으로 구축하거나, IBM이 선별하고 학습시킨 독점적인 다양한 FM, 오픈소스 FM을 쉽게 활용할 수 있도록 하는 파운데이션 모델 라이브러리를 제공한다. IBM 파운데이션 모델은 언어뿐 아니라 코드, 시계열 데이터, 표 형식 데이터, 지리공간 데이터, IT 이벤트 데이터 등 다양한 영역, 다양한 형식의 데이터에 대해 학습하고 있다. 또한, 엄격한 필터링과 정제 프로세스, 법적 또는 안전 문제 검토나 감사(Audit)가 가능한 전체 데이터 계보 등 데이터 수집, 출처, 품질에 엄격한 기준을 두고 구축된, 엄선된 기업용 대규모 데이터 세트를 사용하고 있다.
IBM 왓슨x.데이터(data)는 데이터 웨어하우스의 고성능 처리 기술과 데이터 레이크의 유연성을 함께 제공하는 새로운 데이터 레이크하우스 솔루션이다. 정형 데이터와 비정형 데이터를 자유롭게 저장, 활용할 수 있으며, 저렴한 개방형 스토리지를 지원하면서도 높은 성능을 제공한다.
무엇보다 왓슨x.데이터는 기업들이 AI 작업을 확대 적용하는 것을 지원하도록 클라우드뿐 아니라 온프레미스 버전 제공, 중앙집중식 거버넌스와 보안, 자동화 기술을 내장, 멀티 쿼리 엔진과 스토리지 계층 기술을 채택하고 있다.
사용자가 자연어 문장과 질문을 사용하여 필요한 데이터를 활용할 수 있도록 돕는 시맨틱 오토메이션(Semantic Automation) 기능이 그 대표적인 예이다. 이 기술을 통해 사용자는 코딩이나 데이터 엔지니어링 전문 지식 없이도 셀프 서비스 대화 기능을 사용해 데이터를 쉽게 검색, 보강, 정제할 수 있다.
IBM 왓슨x.거버넌스(governance)는 정책 생성, 의사 결정 권한 할당, 위험과 투자 결정에 대한 조직의 책임 보장을 위한 자동화된 데이터와 모델 수명 주기 솔루션으로 AI 도구와 AI 사용에 필요한 보조 장치를 구축할 수 있도록 지원한다.
운영 탄력성 향상과 같은 비즈니스 사례에서 생성AI는 특정 데이터나 신호의 맥락에서 답변을 찾는 데 이점을 제공한다. 특히 챗GPT와 같은 생성AI 챗봇이 바로 이런 부분에 강점을 갖고 있다. 그러나 전체 인터넷에서 공개적으로 사용 가능한 데이터를 기반으로 답변을 제공하는 LLM(Large Language Model)을 활용하기 때문에, 기업 환경의 특정 사례에 대한 질문에는 고유한 상황과 관련이 없을 수 있는 일반적인 정보에 기반한 답변만을 제공할 수 있다. 따라서 실제 비즈니스를 위해 생성AI를 도입할 경우에는 기업의 내부 데이터를 LLM에 적용해야 한다.
생성AI를 사용해 운영 복원력 향상에 필요한 통찰력을 얻으려면 먼저 모든 데이터를 결과로 원활하게 변환하고 모든 질문을 답변으로 지속적이고 실시간으로 변환하는 유니파이드 데이터 플랫폼을 구현해야 한다.
모든 데이터를 캡처하고, 검색 가능하고, 분석 가능하고, 탐색 가능하고, 시각적으로 볼 수 있도록 해야 합니다. 또한 분산 아키텍처를 기반으로 구축해야 데이터 저장소를 여러 서버와 위치에서 실행하여 성능을 향상시키고, 단일 장애 지점을 방지하며, 중단 시 비즈니스 연속성을 보장할 수 있다.
이런 기반을 구축하면 팀은 유니파이드 플랫폼에 저장된 데이터를 활용하고 익명화된 데이터를 원하는 생성AI에 안전하게 전달해 필요한 정보를 신속하게 파악할 수 있다.
ESRE(Elasticsearch Relivity Engine)를 통해 개발자는 맞춤화되고, 고도로 높은 관련성을 제공하는 AI 검색 애플리케이션을 만들 수 있다. 또한 다양한 기술 수준의 사용자가 ESRE에서 제공하는 생성AI 비서를 보안이나 모니터링 가능성 요구에 활용할 수 있다.
편집 가능한 조직별 컨텍스트를 LLM에 전달하는 사전 구축된 GAI 프롬프트를 통해 분석가는 특정 사용 사례에 대한 답변을 맞춤화해, 조직은 알림, 워크플로우 제안, 통합 조언 등을 얻을 수 있어 시스템이 원활하게 작동되도록 지원한다.
ESRE는 AI의 장점과 엘라스틱의 기존의 텍스트 검색을 결합한다. 따라서 ESRE는 개발자들에게 정교한 검색 알고리즘의 전체 제품군을 LLM과 통합할 수 있는 기능을 제공한다. 여기서 한발 더 나아가 엘라스틱 커뮤니티에서 이미 신뢰받고 있는 간단한 통합 API를 통해 액세스할 수 있기 때문에 전 세계 개발자들이 즉시 이를 사용해 검색 정확도를 높일 수 있다.
전문 팀의 지원을 받지 못하는 개발자도 시맨틱 검색을 구현할 수 있으며, 다른 대안에 필요한 노력과 전문 지식 없이 처음부터 AI 지원 검색 정확도의 이점을 누릴 수 있다. 이제 고객은 더 뛰어난 정확도와 현대적이고 스마트한 검색을 실현하는 데 도움이 되는 빌딩 블록을 갖추게 된다.
생성AI 서비스를 기업에서 활용하는 방법은 크게 두 가지다. 첫 번째 고려할 수 있는 방법은 자체적으로 LLM을 구현하는 것이다. 이는 GPT, BERT, PaLM, LaMDA, DALL-E 같은 FM(Foundation Model)을 엔비디아(NVIDIA) SuperPOD 같은 강력한 GPU 기반 컴퓨팅 인프라를 기반으로 직접 훈련과 최적화를 하는 접근법이다.
양질의 데이터를 보유한 경우 파운데이션 모델보다 비즈니스 목표에 맞게 사전 최적화된 경량화된 모델을 이용하는 것이 더 유리하다. 이런 이유로 최근 많은 조직이 sLLM(small Large Language Model, 소형 언어 모델)에 대한 관심을 보이고 있다. sLLM은 기존 LLM에 비해 변수의 수가 60억(6B) 내지 100억(10B) 개로 적은 LLM을 지칭한다.
sLLM은 훈련을 위한 소요 비용이나 시간을 절감할 수 있으며, 다른 애플리케이션과 통합하기 쉽다. 또한, 기업이 기존 보유한 데이터 활용하여 맞춤형으로 구축하기 수월하여 효율성이 좋다는 이점이 있다. 이러한 이유로 기업에서 저마다의 언어 모델과 이를 기반으로 질문 응답 챗봇을 구축할 수 있어 각광받고 있다.
온프레미스 환경에 엔비디아 DGX H100이나 HGX H100 서버 한 대를 배치하면 sLMM을 활용해 생성AI를 사내 업무와 대외 고객 서비스에 발빠르게 적용할 수 있다. 기업은 초기 투자나 지속적인 서비스 이용 요금 부담 없이 모델 탐색, 데이터 준비, 훈련/파인튜닝 과정을 온프레미스 환경에 마련할 수 있다.
데이터 과학자나 AI 개발자는 비즈니스 요구에 맞는 sLLM을 엔비디아 NGC 카탈로그, 허깅페이스(Hugging Face) 모델 허브 등에서 편리하게 탐색할 수 있다. 용도에 맞는 적합한 라이선스의 sLLM을 다운로드 받은 다음 데이터 엔지니어의 도움을 받아 필요 데이터를 준비한다. 그리고 엔비디아 DGX H100이나 HGX H100 서버를 사용해 모델 훈련과 파인튜닝을 수행하면 거대 AI 인프라나 고가의 클라우드 서비스를 이용하지 않고도 조직의 생성AI 전략을 지원할 수 있다.
엔비디아 DGX H100이나 HGX H100 서버를 이용해 sLLM을 최적화하면 초기 투자 부담 없이 바로 생성AI를 비즈니스에 접목할 수 있다. 또한 sLLM을 활용하는 전략을 택하면 AI 인프라 초기 투자 비용 부담을 크게 줄일 수 있다. 더불어 엔비디아 GPU 기반 서버와 함께 엔비디아 AI 엔터프라이즈 플랫폼을 도입하면 전문 지식이 없어도 sLLM 훈련, 최적화, 서비스 제공이 가능하다.
서비스, 의료, 교육 등 도메인 특화 sLLM을 활용한 생성AI 전략이 주류로 떠오르고 있는 가운데, 많은 조직이 작은 모델을 미세 조정해 대형 모델과 거의 동일한 성능을 얻고 있다. 이것이 가능한 이유는 sLLM을 활용하면 조직이 보유한 데이터로 모델을 최적화할 수 있기 때문이다. 이렇게 목적에 맞게 도메인 특화 모델을 만들어 생성AI 전략을 가속할 수 있다.
VESSL AI는 기업들이 복잡한 머신러닝 인프라와 파이프라인을 직접 구축하지 않아도 모델을 학습, 배포할 수 있는 SaaS 방식의 MLOps 플랫폼으로, 시각화, 모델과 데이터 버전 관리, 하이퍼파라미터 최적화와 같은 기능을 통해 머신러닝 팀의 효율성을 개선하는 것이 특징이다.
VESSL AI는 머신러닝 전 과정을 간편하게 지원하는 통합 플랫폼으로, 커멘드 한 줄로 최신 모델 지원이 가능하다. 예를 들면“vessl run” 커맨드 한 줄로 Llama2나 스테이블 디퓨전과 같은 최신 모델을 학습, 튜닝, 배포할 수 있다. 이런 간편화된 방식으로 엔지니어들은 복잡한 과정 없이 최신 기술을 쉽게 실험해보고, 배포수준까지 성능을 끌어올릴 수 있다.
VESSL AI는 머신러닝의 전 과정을 지원한다. 복잡한 과정 없이 VESSL AI 하나로 머신러닝 모델의 학습부터 배포에 이르는 전 과정을 효율적으로 관리할 수 있다. 기존에는 MLOps를 위해 각 과정에 필요한 여러 툴을 서로 연동하는 복잡한 과정이 필요했었다. 하지만 VESSL AI를 사용하면, 이런 과정을 모두 건너 뛰고 엔드투엔드로 MLOps를 구현하기 위한 각종 기능을 사용할 수 있다.
VESSL AI는 최근의 머신러닝 개발, 운영 환경이 클라우드를 기반으로 하고 있는 상황을 고려해, 다양한 클라우드 연동을 지원한다. AWS, GCP, 애저 등 주요 클라우드 플랫폼과 함께 자체 클라우드를 쉽게 연동해 사용할 수 있다. 이같은 클라우드 연동으로 기업들은 인프라의 확장성과 비용 최적화를 동시에 달성할 수 있다.
VESSL AI는 파이프라인, 하이퍼파라미터 최적화, 자원배분 등을 자동화해 반복작업을 줄이고 더 빠르게 모델을 개발, 개선할 수 있어 프로덕션까지 도달하는 데 걸리는 시간을 최대 4배 더 빠르게 진행할 수 있다. 또한 모델이나 데이터, 실험 이력 등을 한 곳에 저장, 관리해 개발 사이클 전반의 가시성과 팀 내 협업을 개선할 수 있어 개발 생산성을 약 20% 증가시킨다.
VESSL AI는 클라우드 사용을 최적화하고 MLOps 구축에 필요한 자원을 줄여 모델 개발 자체에만 집중할 수 있도록 도와, 개발 비용을 최대 80% 절감할 수 있고, 하이브리드 클러스터를 구축하고 분산학습을 이용해 유휴 자원을 최소화하고 컴퓨팅 자원을 극대화할 수 있어 인프라 활용율을 최대 5배까지 향상시킬 수 있다.
기업의 데이터세트과 GPU 인프라를 활용해 LLM(Large Language Model)을 개발하고자 하는 기업들이 급격히 증가하고 있다. 베슬에이아이는 이런 상황을 고려해 MLOps를 넘어, LLMOps의 영역으로 지원 범위를 확장해 나갈 계획이다.
NLP 기술의 활용을 극대화할 수 있는 영역 중 하나는 바로 교육 분야다. 투블럭에이아이가 제공하는 AI 기반 한국어 글쓰기 첨삭 서비스 '키위티'(KEEwiT)'는 사용자가 자신의 글을 입력하면 AI가 평가하고 점수까지 매겨준다. 단순 문법적 오류뿐 아니라 주장에 적절한 근거가 있는지, 글 흐름이 논리적인지, 내용이 주제와 연관성이 있는지 등을 꼼꼼히 지적하고 개선 방향까지 제시해, 대학 입시에서의 논술이나 취업에서 자기소개서와 같은 글쓰기 능력을 향상시킬 수 있는 방법을 제시한다.
AI를 활용한 글쓰기 교육은 전통적인 쓰기 교육에 비해 피드백 시간을 최대 10배 이상 단축할 수 있으며, 기존의 주입식 반복 학습 방식에 비해 반복 학습은 AI가, 핵심 학습은 선생님이 진행하는 방식으로 체계화할 수 있다는 것이 장점이다.
투블럭에이아이는 자체적인 한국어 형태소 분석기는 물론 HanBERT, HanBART, HanGPT 등 심층 언어 모델 기술을 보유하고 있으며, 이와 함께 공개 글쓰기 평가 데이터인 'AI 허브'를 2021년 구축해 총 5만 415건에 달하는 학생이 작성한 글을 수집해, 50개 주제, 11가지 평가 항목, 3인의 전문가 평가를 통해 인간이 평가하는 수준의 에세이 자동 평가 모델을 구축했다.
그리고 이를 기반으로 분석형 AI를 활용하는 글쓰기 AI 자동 평가 서비스 키위(KEEwi, Korea Essay Evaluation with AI)를 출시했다. 이 자동 평가 엔진은 텍스트를 입력하면 A4당 5초 수준의 빠른 분석 속도로 평가 점수와 지표별 등급, 개선 방향을 제시하고, 이를 PDF 형태의 평가 리포트로 제시하며, 글을 읽은 챗봇과 대화까지 가능한 '키위챗(KEEwiChat)' 서비스도 제공한다.
생성AI에 기반한 문해력 챗봇인 키위챗은 사람의 글을 읽은 챗봇이 사람에게 먼저 질문하기 때문에 키위티로 글쓰기 첨삭 지도를 받은 이후 키위챗과 연동해 문해력 향상에 시너지가 나도록 개발됐다.
'키위'는 기계학습의 점수와 함께 학습 효과를 위한 문법의 정확성, 어휘의 풍부성, 의도의 표현, 문장 구사력, 조직과 전개, 주제의 명확성 등 6가지 정량적 지표에 대한 피드백을 제공한다.
투블럭에이아이는 'korean.ai'라는 글쓰기 AI 자동 평가 서비스를 제공하고 있다. 여기서는 키위를 이용한 글쓰기 AI 평가, 키위티를 이용한 글쓰기 AI 첨삭, 그리고 'GPT식 좋은 글 학습' 등 3가지 서비스를 제공하고 있다.
키위는 글쓰기 내용 분석과 점수, 지표별 등급, 지표별 피드백, 그리고 문서의 특성을 분석해 리포트화해 제공하고, 키위티는 선생님을 위한 평가와 첨삭 도구로 AI 평가 점수를 수정하고 지표별 등급을 조정, 총평, 문단별 첨삭 수정/추가 등의 기능을 제공해 1시간 수준의 평가와 첨삭을 단 5분만에 해결할 수 있는 기능을 제공한다.
성공적인 AI 인프라는 방대하고 다양한 종류의 데이터를 빠르게 처리해야 한다. 특히 AI 기술 개발을 위해서는 정의된 구조가 없고 수집, 저장, 분석이 까다로운 비정형 데이터 관리에 최적화된 스토리지가 필요하다.
초고속 통합 파일 및 오브젝트(UFFO) 스토리지 플래시블레이드(FlashBlade)는 데이터의 크기나 액세스 패턴과 상관없이 뛰어난 성능을 제공한다. 상용 SSD 기반이나 개조된 HDD 솔루션과 달리, 플래시블레이드는 퓨어스토리지의 올플래시 하드웨어와 소프트웨어 혁신 기술을 활용하며 올QLC 아키텍처와 다이렉트플래시(DirectFlash) 모듈을 기반으로 하고 있다.
플래시블레이드//S는 섀시당 최대 10개 블레이드를 장착할 수 있으며, 각 블레이드는 48TB DFM 적용 시 최대 192TB, 섀시당 최대 1920TB 스토리지 풀을 구성할 수 있으며, 데이터 폭증에도 성능을 유지할 수 있는 스케일-아웃 구조를 갖추고 있어 필요에 따라 자유롭게 성능과 용량을 증설할 수 있다.
AI 인프라는 여러 AI 연구들이 동시에 원활하게 진행될 수 있도록 스토리지와 컴퓨팅 리소스 등을 효과적으로 분배해야 한다. 플래시블레이드는 데이터 수집, 가공, 분석 등 AI 연구를 위한 전체 파이프라인을 유기적으로 연결하는 데이터 허브의 역할을 수행해, 다양한 앱의 데이터를 한 곳으로 통합해 데이터 사일로를 없애고, 각 단계별로 데이터를 복사, 로딩 하는 과정을 줄여 워크로드를 가속화한다.
퓨어스토리지는 엔비디아와 협력해 최초의 AI-레디 인프라스트럭처 레퍼런스 아키텍처인 에이리(AIRI)를 2018년에 출시했다. 플래시블레이드와 엔비디아의 A100를 포함한 DGX 시스템을 기반으로 설계된 에이리는 기업에게 더 나은 인프라스트럭처 활용률과 가동시간을 제공하고, AI와 데이터 사이언스를 위한 인프라를 보다 간단하게 확장할 수 있도록 설계됐다.
에이리//S(AIRI//S)는 사전 검증된 인프라스트럭처로 AI 데이터 파이프라인의 모든 단계를 지원하는 간소성과 확장성을 갖췄다. 또한, 플래시블레이드//S를 탑재해 높은 집적도와 전력 소비 절감, 향상된 데이터센터 효율성을 통해 동일한 상면 공간에서 더욱 강력한 고성능 AI 인프라를 누릴 수 있도록 구성됐다. 에이리는 현재 스타트업, 국가안보부서, 다국적 IT 기업 등 데이터를 활용하는 다양한 조직들이 운영하는 수백 개의 AI 워크로드를 지원해 오고 있다.
국내 AI 기반 음성인식 기술 기업인 미디어젠, 충청북도의 지역혁신 거점기관인 충북테크노파크가 모두 플래시블레이드를 기반으로 현대적인 AI 컴퓨팅 환경을 구축하고 AI 프로젝트들을 가속화하고 있다. 미디어젠은 플래시블레이드를 통해 최대 12개월이 소요되던 음성인식 모델링 작업을 2주(96% 향상)로 단축했으며, 충북테크노파크는 플래시블레이드를 통해 데이터 처리 성능을 2배 이상 향상하고, GPU 서버 내 데이터 읽기 속도를 개선해 GPU 활용률을 기존 30%에서 80%로 약 2.6배 증가시켰다.
전자신문인터넷 유은정 기자 judy6956@etnews.com
