“AWS는 비용과 지연속도(레이턴시), 정확성 세 가지를 전부 개선할 것입니다.”
아둘 테오 아마존 베드록 총괄 매니저는 지난 5일(현지시간) 미국 라스베이거스 'AWS 리인벤트 2024' 행사장에서 기자와 만나 향후 '베드록' 경영 전략을 이같이 강조했다.
아마존 베드록은 AWS의 인공지능(AI) 구축 도구다. 앤스로픽, 코히어, 메타, 미스트랄AI, 스태빌리티AI 등 인공지능(AI) 구축에 필요한 파운데이션 모델(FM)을 제공한다.
AWS는 리인벤트 2024에서 베드록에 탑재될 자체 거대언어모델(LLM) '노바'를 출시를 알리고 FM 선택 폭을 넓힌 바 있다.
테오 매니저는 “베드록은 고객 비용을 절감하고 엔드 유저의 지연 속도를 줄일 것”이라며 “특히 추가 기능을 통해 가격 대비 성능(가성비)을 높이는 데 주력할 것”이라고 말했다.
실제 AWS는 이번 행사에 맞춰 베드록에 데이터를 더 빨리 읽어 오도록 캐시 기억 장치에 저장하는 '프롬프트 캐싱' 기능을 추가했다. 반복된 프롬프트 처리량을 효과적으로 줄여서 응답 시간과 비용을 최대 85%, 90% 줄인다.
인텔리전트 프롬프트 라우팅 기능까지 추가했다. 프롬프트에 따라 LLM 성능을 예측하고 가장 적합한 응답을 제공할 가능성이 높은 모델을 자동으로 라우팅(최적 선택)해서 분배한다.
테오 매니저는 “베드록은 지난해 4월 출시된 이후 급성장해왔다”면서 “AWS는 높은 퍼포먼스와 가격 경쟁력을 제공해 나갈 것”이라고 강조했다.
이 같은 전략은 AWS의 모든 서비스에 적용된다. AWS가 리인벤트 2024에서 발표한 내용을 종합하면 머신러닝(ML)과 인공지능(AI), 컴퓨팅, 데이터베이스, 애플리케이션 개발과 배포 및 관리 등 모든 서비스에 AI를 적용·강화하는 전략으로 요약된다.
서비스 프로세스를 단순화하고 불필요한 리소스를 줄이는 한편, 고성능 AI를 결합·제공하는 식으로 가격 대비 성능을 높이고 기술 경쟁력을 높인다. 고객 비용 부담은 크게 줄어든다.
차세대 세이지메이커 하이퍼팟이 대표적이다. 세이지메이커는 ML 개발·운영 도구다.
세이지메이커 하이퍼팟은 LLM 모델 학습과 미세조정, 추론을 위한 가속기 활용을 최대화해서 LLM 모델 개발 비용을 최대 40%까지 줄여준다.
테오 매니저는 “고객이 인프라를 강화하고 민첩성을 높이고, 비용을 절감할 수 있도록 혁신 서비스를 제공해 나갈 것”이라고 말했다.
류태웅 기자 bigheroryu@etnews.com
