碾壓 H100！英偉達 GH200 超級芯片首秀 MLPerf v3.1，性能躍升 17%

【新智元導讀】傳說中的英偉達 GH200 在 MLPerf 3.1 中驚艷亮相，性能直接碾壓 H100，領先了 17%。

繼 4 月份加入 LLM 訓練測試后，MLPerf 再次迎來重磅更新！

剛剛，MLCommons 發(fā)布了 MLPerf v3.1 版本更新，并加入了兩個全新基準：LLM 推理測試 MLPerf Inference v3.1，以及存儲性能測試 MLPerf Storage v0.5。

而這，這也是英偉達 GH200 測試成績的首次亮相！

相比于單張 H100 配合英特爾 CPU，GH200 的 Grace CPU+H100 GPU 的組合，在各個項目上都有 15% 左右的提升。

英偉達 GH200 超級芯片首秀

毫無疑問，英偉達的 GPU 在 MLPerf Inference 3.1 基準測試中表現(xiàn)是最亮眼的。

其中，最新發(fā)布的 GH200 Grace Hopper 超級芯片，也是首次在 MLPerf Inference 3.1 上亮相。

Grace Hopper 超級芯片將英偉達的 Grace CPU 與 H100 GPU 集成在一起，通過超高的帶寬連接，從而比單個 H100 配合其他的 CPU 能提供更強的性能表現(xiàn)。

「Grace Hopper 首次展示了非常強勁的性能，與我們的 H100 GPU 提交相比，性能提高了 17%，我們已經(jīng)全面領先，」英偉達人工智能總監(jiān) Dave Salvator 在新聞發(fā)布會上表示。

性能大幅增長

具體來說，它將一個 H100 GPU 和 Grace CPU 集成在一起，通過 900GB/s的 NVLink-C2C 連接。

而 CPU 和 GPU 分別配備了 480GB 的 LPDDR5X 內(nèi)存和 96GB 的 HBM3 或者 144GB 的 HBM3e 的內(nèi)存，集成了高達 576GB 以上的高速訪問內(nèi)存。

英偉達 GH200 Grace Hopper 超級芯片專為計算密集型工作負載而設計，能夠滿足各種嚴苛的要求和各項功能。

比如訓練和運行數(shù)萬億參數(shù)的大型 Transformer 模型，或者是運行具有數(shù) TB 大小的嵌入表的推薦系統(tǒng)和向量數(shù)據(jù)庫。

GH200 Grace Hopper 超級芯片還在 MLPerf Inference 測試中有著非常優(yōu)異的表現(xiàn)，刷新了英偉達單個 H100 SXM 在每個項目中創(chuàng)下的最佳成績。

▲ NVIDIA Grace Hopper MLPerf Inference 數(shù)據(jù)中心性能與 DGX H100 SXM 的對比結(jié)果，每個數(shù)值都是 GH200 的性能領先幅度

GH200 Grace Hopper 超級芯片集成了 96 GB 的 HBM3，并提供高達 4 TB / s 的 HBM3 內(nèi)存帶寬，而 H100 SXM 分別為 80 GB 和 3.35 TB / s。

與 H100 SXM 相比，更大的內(nèi)存容量和更大的內(nèi)存帶寬使得在 NVIDIA GH200 Grace Hopper 超級芯片上使用更大的批處理大小來處理工作負載。

例如，在服務器場景中，RetinaNet 和 DLRMv2 的批處理大小都增加了一倍，在離線場景中，批處理大小增加了 50%。

GH200 Grace Hopper 超級芯片在 Hopper GPU 和 Grace CPU 之間的高帶寬 NVLink-C2C 連接可以實現(xiàn) CPU 和 GPU 之間的快速通信，從而有助于提高性能。

例如，在 MLPerf DLRMv2 中，在 H100 SXM 上通過 PCIe 傳輸一批張量（Tensor）大約需要 22% 的批處理推理時間。

使用了 NVLink-C2C 的 GH200 Grace Hopper 超級芯片僅使用 3% 的推理時間就完成了相同的傳輸。

由于具有更高的內(nèi)存帶寬和更大的內(nèi)存容量，與 MLPerf Inference v3.1 的 H100 GPU 相比，Grace Hopper 超級芯片的單芯片性能優(yōu)勢高達 17%。

推理和訓練全面領先

在 MLPerf 的首秀中，GH200 Grace Hopper Superchip 在封閉類別（Closed Division）的所有工作負載和場景上都表現(xiàn)出卓越的性能。

而在主流的服務器應用中，L4 GPU 能夠提供一個低功耗，緊湊型的算力解決方案，與 CPU 解決方案相比的性能也有了大幅的提升。

Salvator 表示，「與測試中最好的 x86 CPU 相比，L4 的性能也非常強勁，提高了 6 倍」。

對于其他的 AI 應用和機器人應用，Jetson AGX Orin 和 Jetson Orin NX 模塊實現(xiàn)了出色的性能。未來的軟件優(yōu)化有助于進一步釋放強大的英偉達 Orin SoC 在這些模塊中的潛力。

在目前非常流行的目標檢測 AI 網(wǎng)絡 ——RetinaNet 上，英偉達的產(chǎn)品的性能提高了高達 84%。

英偉達開放部分（Open Division）的結(jié)果，展示了通過模型優(yōu)化可以在保持極高精度的同時大幅提高推理性能的潛力。

全新 MLPerf 3.1 基準測試

當然，這并不是 MLCommons 第一次嘗試對大語言模型的性能進行基準測試。早在今年 6 月，MLPerf v3.0 就首次加入了 LLM 訓練的基準測試。不過，LLM 的訓練和推理任務，區(qū)別很大。

推理工作負載對計算要求高，而且種類繁多，這就要求平臺能夠快速處理各種類型的數(shù)據(jù)預測，并能在各種 AI 模型上進行推理。

對于希望部署 AI 系統(tǒng)的企業(yè)來說，需要一種方法來客觀評估基礎設施在各種工作負載、環(huán)境和部署場景中的性能。所以對于訓練和推理的基準測試都是很重要的。

MLPerf Inference v3.1 包括了兩項重要更新，來更好地反映現(xiàn)在 AI 實際的使用情況：

首先，增加了基于 GPT-J 的大型語言模型 (LLM) 推理的測試。GPT-J 是一個開源的 6B 參數(shù) LLM，對 CNN / 每日郵報數(shù)據(jù)集進行文本總結(jié)。

除了 GPT-J 之外，這次還更新了 DLRM 測試。針對 MLPerf Training v3.0 中引入的 DLRM，采用了新的模型架構(gòu)和更大的數(shù)據(jù)集，更好地反映了推薦系統(tǒng)的規(guī)模和復雜性。

MLCommons 創(chuàng)始人兼執(zhí)行董事 David Kanter 表示，訓練基準側(cè)重于更大規(guī)模的基礎模型，而推理基準執(zhí)行的實際任務，則代表了更廣泛的用例，大部分組織都可以進行部署。

在這方面，為了能夠?qū)Ω鞣N推理平臺和用例進行有代表性的測試，MLPerf 定義了四種不同的場景。

每個基準都由數(shù)據(jù)集和質(zhì)量目標定義。

每個基準都需要以下場景：

在 MLPerf v3.1 基準測試中，有超過 13,500 個結(jié)果，其中不少提交者的性能比 3.0 基準提高了 20%，甚至更多。

其他提交者包括華碩，Azure，cTuning，Connect Tech，戴爾，富士通，Giga Computing，谷歌，H3C，HPE，IEI，英特爾，Intel Habana Labs，Krai，聯(lián)想，墨芯，Neural Magic，Nutanix，甲骨文，高通，Quanta Cloud Technology，SiMA，Supermicro，TTA 和 xFusion 等。

詳細數(shù)據(jù)：https://mlcommons.org/en/inference-datacenter-31/

參考資料：

• https://developer.nvidia.com/blog/leading-mlperf-inference-v3-1-results-gh200-grace-hopper-superchip-debut/?ncid=so-twit-408646&=&linkId=100000217826658

• https://mlcommons.org/en/inference-datacenter-31/

• https://venturebeat.com/ai/mlperf-3-1-adds-large-language-model-benchmarks-for-inference/