인공지능(AI)용 반도체 추론 성능 테스트 결과 엔비디아 그래픽처리장치(GPU)가 인텔 반도체를 앞선 것으로 나타났다.
11일(현지시간) 로이터통신에 따르면 AI 벤치마크 테스트 전문기업 엠엘커먼스(MLCommons)는 AI 모델을 얼마나 빨리 실행하고 추론할 수 있는지 확인하는 새로운 테스트를 진행했다. 거대언어모델(LLM) 테스트 결과, 엔비디아 칩이 최고 성능을 보였으며 인텔 칩이 근소한 차이로 2위를 차지했다.
MLPerf 벤치마크 테스트는 CNN 뉴스 기사를 요약하는 60억개 매개변수를 갖춘 LLM에 기반해 진행됐다. 생성형 AI의 소프트웨어를 구동하는 AI 데이터 처리 추론 성능을 시뮬레이션한 결과 엔비디아 H100이 최고 성능을 기록했다. 인텔의 가우디2가 엔비디아 칩보다 10% 정도 느린 것으로 나타났다.
엔비디아 반도체가 AI 학습에 이어 추론 분야에서도 업계 최고 성능을 입증한 것이나 인텔과 기술 격차는 줄어든 것으로 풀이된다. MLPerf는 공정하고 반복 가능한 성능 비교로 업계에서 가장 신뢰할 만한 AI 평가 지표로 꼽힌다.
데이브 살베이터 엔비디아 컴퓨팅 마케팅 이사는 “엔비디아는 AI반도체 전반 성능면에서 리더십을 갖고 있다”며 “이번 평가는 모든 워크로드에서 이같은 리더십을 제공하는 것을 확인한 결과”라고 설명했다. 엔비디아는 AI 추론을 가속화하고 최적화해 이번 벤치마크 결과보다 성능을 두 배 향상할 수 있는 소프트웨어 '텐서RT-LLM'을 출시했다. 기술 우위를 유지하려는 포석이다.
인텔은 가격 경쟁력을 앞세워 AI 추론 시장을 공략한다. 엔비디아가 AI 학습용 반도체 시장을 장악했지만 AI 추론 시장을 압도하는 기업이 아직은 없다는 게 글로벌 업계 전반의 평가다. 사피온, 퓨리오사AI, 리벨리온, 딥엑스 등 국내 AI반도체 기업도 AI 추론에 강점이 있는 신경망처리장치(NPU)를 개발·고도화하고 있다.
에이탄 메디나 인텔 하바나 최고운영책임자(COO)는 “테스트 결과 인텔이 가우디2 가성비(가격 대비 성능) 이점을 보였다”며 “인텔 칩이 엔비디아 칩보다 가격 경쟁력이 있다”고 말했다. 로이터통신은 가우디2 성능 개선은 인텔이 2019년 인수한 하바나 사업부 성과라고 평가했다.
박종진 기자 truth@etnews.com
