AI 컴퓨팅 기술 분야의 선두주자인 엔비디아(CEO 젠슨 황)가 엔비디아 H100 텐서 코어 GPU(NVIDIA H100 Tensor Core GPU)가 업계 그룹 AI 훈련에 대한 최신 테스트에서 엔터프라이즈 AI 워크로드 전반에 걸쳐 세계 기록을 세웠다고 밝혔다.
MLPerf 추론 벤치마크에서 H100을 선보인 지 2개월 만이다. 이는 고급 AI 모델을 만들고 배포할 때 최고의 성능을 요구하는 사용자에게 H100가 최고의 선택이라는 것을 보여준다.
MLPerf는 AI 성능 측정을 위한 업계 표준이다. 아마존(Amazon), Arm, 바이두(Baidu), 구글(Google), 하버드 대학교(Harvard University), 인텔(Intel), 메타(Meta), 마이크로소프트(Microsoft), 스탠퍼드 대학교(Stanford University)및 토론토 대학교(University of Toronto)를 포함하는 광범위한 그룹의 지원을 받는다.
이번 MLPerf 벤치마크에서 엔비디아 A100 텐서 코어 GPU는 고성능 컴퓨팅(HPC)에서 작년에 설정한 기준을 높였다.
호퍼(Hopper)라고 불리는 H100 GPU는 MLPerf 훈련에서 가속기별 성능의 기준을 높였다. MLPerf 훈련에 처음 제출되었을 때 이전 세대 GPU보다 최대 6.7배 더 높은 성능을 제공했다. 더불어, 오늘날의 A100 GPU는 소프트웨어의 발전 덕분에 2.5배 더 많은 힘을 갖고 있다.
부분적으로는 트랜스포머 엔진(Transformer Engine) 덕분에 호퍼(Hopper)는 자연어 처리를 위해 인기 있는 BERT 모델을 훈련하는 데 탁월했다. MLPerf AI 모델 중 가장 크고 많은 성능이 요구되는 모델 중 하나이다.
MLPerf는 벤치마크가 컴퓨터 비전, 자연어 처리, 추천 시스템, 강화 학습 등 오늘날 가장 인기 있는 AI 워크로드를 다루기 때문에 사용자가 정보를 기반으로 구매 결정을 내릴 수 있다. 또한 테스트는 동료 심사되므로 사용자는 결과를 신뢰할 수 있다.
한편, 엔터프라이즈 AI 훈련 벤치마크에서는 마이크로소프트 애저(Microsoft Azure) 클라우드 서비스를 포함한 총 11개의 회사가 엔비디아 A100과 A30, A40 GPU를 사용해 제출했다. 에이수스(ASUS), 델(DELL), 후지쯔(Fujitsu), 기가바이트(GIGABYTE), 휴렛팩커드(Hewlett Packard Enterprise), 레노버(Lenovo), 슈퍼마이크로(Supermicro)를 포함한 시스템 제조업체가 총 9개의 엔비디아 인증 시스템을 사용해 제출했다.
