삼성, 벤치마크 뻥튀기 또?

아스테크니카 "벤치마크 앱 반응하는 부스터 확인" 또 부풀리기?

벤치마크 성능 점수 부풀리기가 갤럭시노트3에서도 되풀이된 것으로 보인다. 아스테크니카, 애플인사이더, 더 버지 등에 따르면 삼성전자가 최근 발표한 갤럭시노트3에서 갤럭시S4에서와 같이 벤치마크 부스터가 포함돼 있다는 것이다.

Photo Image
벤치마크 앱 이름을 바꾸고 실행시키자 구동되는 CPU 코어가 달라졌다. (이미지 출처 : Arstechnica)

이 소식을 가장 먼저 보도한 아스테크니카는 1일(현지시각) 갤럭시노트3을 테스트하다 이상한 점을 발견했다고 주장했다. 유사한 사양의 LG전자 옵티머스G2와 비교할 때 벤치마크 점수가 너무 뛰어나다는 점 때문이다. 갤럭시노트3은 LG G2와 동일한 퀄컴 2.3GHz 스냅드래곤 800 프로세서를 장착했는데 동일한 프로세서의 성능이 다르게 측정되었다.

아스테크니카는 “삼성전자가 미국 버전의 갤럭시노트3에 벤치마크 점수를 인위적으로 높이기 위한 조치를 했음을 확신할 수 있다”고 전했다. 즉 벤치마크 부스터를 사용했다는 이야기다.

벤치마크 부스터는 대표적인 벤치마킹 앱들을 구동할 때 프로세서를 고성능(하이파워) 모드로 변경해 높은 성능을 발휘하도록 한다. 따라서 일상적인 스마트폰 사용에서는 발휘하지 않는 수준의 성능을 발휘하게 된다. 삼성전자는 인터내셔널 버전 갤럭시S4 GPU에서도 벤치마크 부스터를 사용한 것으로 알려졌다.

Photo Image
벤치마크 부스터 비활성화 상태에서 성능 점수 결과 (출처 : Arstechnica)

또 아스테크니카는 이 특정 모드를 비활성화시키는 방법을 찾아냈으며 벤치마크 부스터가 성능 점수에 얼마나 영향을 미쳤는지 확인할 수 있었다고 밝혔다. 아스테크니카에 따르면 벤치마크 부스터의 기여로 갤럭시노트3은 동일 프로세서를 장착한 LG 옵티머스 G2보다 성능이 20% 더 높게 나타났다.

부스터 기능을 해제하자 옵티머스 G2와 약간 높았지만 대체로 비슷해졌다. 애플인사이더는 이 차이에 대해서는 램 때문이라고 지적했다. LG 옵티머스G2의 가용 램은 1.38GB, 갤럭시노트3이 2.38GB이다. 애플인사이더도 아이폰5S와 갤럭시노트3, 옵티머스G2의 벤치마크 테스트를 비교했는데, 결과는 아스테크니카와 유사했다.

벤치마크 부스터를 확인시켜준 실마리는 CPU 아이들(idle) 모드에서의 속도였다. 아이들 모드일 때 4개 중 3개 코어는 전력 소모를 막기 위해 구동을 멈추며 구동되는 코어도 저전력 300MHz 모드로 낮춰진다. 하지만 이 상태에서 유명한 CPU 벤치마킹 앱들을 실행하면 갤럭시노트3의 CPU는 2.3GHz 모드로 고정된다. 해당 프로세서에서 발휘할 수 있는 가장 빠른 속도이며, 프로세서 코어 4개는 모두 구동된다. 아스테크니카는 “벤치마크 테스트는 일상적인 사용 환경에서의 성능을 측정하기 위한 것”이며 “단말기가 일반 앱들과 다르게 벤치마크 앱을 구동해서는 안 된다”고 지적했다.

Photo Image
삼성전자 갤럭시노트3에서 벤치마크 부스터를 활성화시키는 한 코드. 전문은 아스테크니카에서 볼 수 있다. (출처 : http://arstechnica.com/gadgets/2013/10/galaxy-note-3s-benchmarking-adjustments-inflate-scores-by-up-to-20/#image-1)

아스테크니카는 “벤치마크 때만 CPU에 영향을 주는 특정 프로그래밍을 일일이 검토하긴 어려웠다”며 하지만 벤치마크를 하면서 특정 ‘벤치마크 모드’가 아닌 것으로 단말기를 속여 넘길 수 있을 것으로 추정했다. 테스트해본 결과 갤럭시노트3의 벤치마크 부스터는 가장 대중적인 벤치마킹 앱들의 이름 패키지를 인식했다. 예를 들어 긱벤치(Geekbench)를 실행시키면 이 모드가 실행된다. 아스테크니카는 긱벤치의 이름을 ‘스텔스벤치(Stealthbench)’로 바꾸고 벤치마크 앱 패키지를 재조합, 실행시키자 이런 현상이 없어졌다고 전했다.

벤치마크 부스터를 비활성화시킨 상태에서 긱벤치 3.0(멀티코어) 테스트를 하자 갤럭시노트3은 2487점을 기록했다. 동일 프로세서를 장착한 옵티머스G2보다 우세했지만 벤치마크 부스터 활성화 상태에서의 2986점과는 꽤 차이가 있다.

아스테크니카는 벤치마크 부스터를 활성화시킨 파일을 발견해 추출, 디셈블리, 파일 컨버전을 통해 사람이 읽을 수 있는 자바 코드를 확보했다. `DVFSHelper.java`라는 이 코드는 특정 CPU 부스팅 모드로 영향을 받을 수 있는 모든 패키지 리스트를 담고 있다. 이 파일은 벤치마크에만 적용되며 긱벤치, 쿼드런트(Quadrant), 안투투(Antutu), 린팩(Linpack), GFX벤치, 심지어 삼성 자체 벤치마크 툴도 포함된다.

샘모바일은 “갤럭시S4의 칩셋 부스터는 일부 삼성 앱들에서도 활성화되는데 반해 갤럭시노트3에서는 벤치마크 앱에서만 작동된다”고 밝혔다. 또 GPU도 영향을 받은 것으로 보이는데 이는 프레임 레이트 조절에 적용되는 것이다.

전자신문인터넷 테크트렌드팀


박현선기자 hspark@etnews.com

브랜드 뉴스룸