한국과학기술원(KAIST·총장 이광형)은 정명수 전기 및 전자공학부 교수팀(컴퓨터 아키텍처 및 메모리 시스템 연구실)이 대용량 메모리 확장이 가능한 ‘컴퓨트 익스프레스 링크 3.0(CXL 3.0)’을 활용해 검색 엔진용 AI 반도체를 세계 최초로 개발했다고 25일 밝혔다.
최근 각광받는 이미지 검색, 추천 시스템 등은 데이터 셋이 커 많은 양의 메모리를 요구한다. 그러나 기존 시스템은 메모리 용량에 제한이 있었다.
연구팀은 해결책으로 CXL 기술에 주목했다. CXL은 중앙처리장치(CPU)와 장치 간 연결 프로토콜로, 가속기와 메모리 확장기 고속 연결을 제공한다. 또 CXL 스위치로 여러 대 메모리 확장기를 포트 하나에 연결할 수 있는 확장성을 제공한다.
다만 CXL을 통한 메모리 확장은 로컬 메모리와 비교해 메모리 접근 시간이 증가하는 단점이 있다. 더욱이 최근 검색 서비스에 쓰이는 알고리즘 ‘근사 근접 이웃탐색(ANNS)’은 어떤 데이터든지 특징 벡터(숫자 표현 나열)로 표현할 수 있는데, 벡터 데이터 용량이 매우 크다. 정확도와 성능이 낮았다.
연구진이 개발한 AI 반도체(CXL-ANNS)는 CXL 스위치와 CXL 메모리 확장기를 사용해 ANNS에서 필요한 모든 데이터를 메모리에 적재할 수 있어 정확도를 높이고 성능 감소를 없앤다. 또 데이터 근처 처리 기법, 지역성을 활용한 데이터 배치 기법으로 높은 성능을 자랑한다.
연구진은 CXL-ANNS 프로토타입을 자체 제작해 실효성을 확인하고, 기존 연구들과 비교했다. 마이크로소프트, 메타, 얀덱스 등 글로벌 IT 기업에서 공개한 검색 데이터 셋을 사용한 ANNS 성능 비교에서 기존 연구들 대비 평균 111배 성능 향상이 있었다. 특히, 마이크로소프트의 상용화된 서비스에서 사용되는 방식과 비교했을 때 92배 성능 향상을 보여줬다.
정명수 교수는 “CXL-ANNS는 기존 검색 엔진의 문제였던 메모리 용량 제한 문제를 해결하고, CXL 기반 메모리 확장이 실제 적용될 때 발생하는 메모리 접근 시간 지연 문제를 해결했다”며 “검색엔진 뿐만 아니라 빅 데이터가 필요한 고성능 컴퓨팅, 유전자 탐색, 영상처리 등의 다양한 분야에도 적용할 수 있다”고 말했다.
김영준 기자 kyj85@etnews.com
