Habana Gaudi2性能穩(wěn)超英偉達(dá)A100，助力實(shí)現(xiàn)高效AI訓(xùn)練

近日，英特爾宣布Habana^? Gaudi^?2深度學(xué)習(xí)處理器在MLPerf行業(yè)測(cè)試中表現(xiàn)優(yōu)于英偉達(dá)A100提交的AI訓(xùn)練時(shí)間，結(jié)果突顯了5月在英特爾On產(chǎn)業(yè)創(chuàng)新峰會(huì)上發(fā)布的Gaudi2處理器在視覺(jué)（ResNet-50）和語(yǔ)言（BERT）模型上訓(xùn)練時(shí)間的優(yōu)勢(shì)。

英特爾公司執(zhí)行副總裁兼數(shù)據(jù)中心與人工智能事業(yè)部總經(jīng)理 Sandra Rivera表示：“非常高興能與大家分享Gaudi 2在MLPerf基準(zhǔn)測(cè)試中的出色表現(xiàn)，我也為英特爾團(tuán)隊(duì)在產(chǎn)品發(fā)布僅一個(gè)月取得的成就感到自豪。我們相信，在視覺(jué)和語(yǔ)言模型中提供領(lǐng)先的性能能夠?yàn)榭蛻魩?lái)價(jià)值，有助于加速其AI深度學(xué)習(xí)解決方案。”

借助Habana Labs的Gaudi平臺(tái)，英特爾數(shù)據(jù)中心團(tuán)隊(duì)能夠?qū)Ｗ⒂谏疃葘W(xué)習(xí)處理器技術(shù)，讓數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師得以高效地進(jìn)行模型訓(xùn)練，并通過(guò)簡(jiǎn)單的代碼實(shí)現(xiàn)新模型構(gòu)建或現(xiàn)有模型遷移，提高工作效率的同時(shí)降低運(yùn)營(yíng)成本。

Habana Gaudi2處理器在縮短訓(xùn)練時(shí)間（TTT）方面相較第一代Gaudi有了顯著提升。Habana Labs于2022年5月提交的Gaudi2處理器在視覺(jué)和語(yǔ)言模型訓(xùn)練時(shí)間上已超越英偉達(dá)A100-80G的MLPerf測(cè)試結(jié)果。其中，針對(duì)視覺(jué)模型ResNet-50，Gaudi2處理器的TTT結(jié)果相較英偉達(dá)A100-80GB縮短了36%，相較戴爾提交的同樣針對(duì)ResNet-50和BERT模型、采用8個(gè)加速器的A100-40GB服務(wù)器，Gaudi2的TTT測(cè)試結(jié)果則縮短了45%。 

MLCommons發(fā)布的數(shù)據(jù)，2022年6月。https://mlcommons.org/en/training-normal-20/

相比于第一代Gaudi處理器，Gaudi2在ResNet-50模型的訓(xùn)練吞吐量提高了3倍，BERT模型的訓(xùn)練吞吐量提高了4.7倍。這些歸因于制程工藝從16納米提升至7納米、Tensor處理器內(nèi)核數(shù)量增加了三倍、增加GEMM引擎算力、封裝的高帶寬存儲(chǔ)容量提升了三倍、SRAM帶寬提升以及容量增加一倍。對(duì)于視覺(jué)處理模型的訓(xùn)練，Gaudi2處理器集成了媒體處理引擎，能夠獨(dú)立完成包括AI訓(xùn)練所需的數(shù)據(jù)增強(qiáng)和壓縮圖像的預(yù)處理。

兩代Gaudi處理器的性能都是在沒(méi)有特殊軟件操作的情況下通過(guò)Habana客戶開(kāi)箱即用的商業(yè)軟件棧實(shí)現(xiàn)的。

通過(guò)商用軟件所提供的開(kāi)箱即用性能，在Habana 8個(gè)GPU服務(wù)器與HLS-Gaudi2參考服務(wù)器上進(jìn)行測(cè)試比對(duì)。其中，訓(xùn)練吞吐量來(lái)自于NGC和Habana公共庫(kù)的TensorFlow docker，采用雙方推薦的最佳性能參數(shù)在混合精度訓(xùn)練模式下進(jìn)行測(cè)量。值得注意的是，吞吐量是影響最終訓(xùn)練時(shí)間收斂的關(guān)鍵因素。

圖形測(cè)試配置詳見(jiàn)說(shuō)明部分。

圖形測(cè)試配置見(jiàn)說(shuō)明部分。

除了Gaudi2在MLPerf測(cè)試中的卓越表現(xiàn)，第一代Gaudi在128個(gè)加速器和256個(gè)加速器的ResNet基準(zhǔn)測(cè)試中展現(xiàn)了強(qiáng)大的性能和令人印象深刻的近線性擴(kuò)展，支持客戶高效系統(tǒng)擴(kuò)展。

Habana Labs首席運(yùn)營(yíng)官Eitan Medina表示：“我們最新的MLPerf測(cè)試結(jié)果證明Gaudi2在訓(xùn)練性能方面顯著優(yōu)勢(shì)。我們將持續(xù)深度學(xué)習(xí)訓(xùn)練架構(gòu)和軟件創(chuàng)新，打造最具性價(jià)比的AI訓(xùn)練解決方案。”

關(guān)于MLPerf基準(zhǔn)測(cè)試：MLPerf社區(qū)旨在設(shè)計(jì)公平且極具實(shí)際價(jià)值的基準(zhǔn)測(cè)試，以公平地測(cè)量機(jī)器學(xué)習(xí)解決方案的準(zhǔn)確度、速度和效率。該社區(qū)由來(lái)自學(xué)術(shù)界、研究實(shí)驗(yàn)室和業(yè)界的AI領(lǐng)導(dǎo)者創(chuàng)建，他們確立基準(zhǔn)并制定了一套嚴(yán)格的規(guī)則，以確保所有參與者均能夠公平公正地進(jìn)行性能比對(duì)?；谝惶酌鞔_的規(guī)則，以及能夠?qū)Χ说蕉巳蝿?wù)進(jìn)行公平比較，目前MLPerf是AI行業(yè)唯一可靠的基準(zhǔn)測(cè)試。此外，MLPerf基準(zhǔn)測(cè)試結(jié)果要經(jīng)過(guò)為期一個(gè)月的同行評(píng)審，這將進(jìn)一步驗(yàn)證報(bào)告結(jié)果。

說(shuō)明：

ResNet-50性能對(duì)比中使用的測(cè)試配置

A100-80GB：Habana于2022年4月在Azure實(shí)例Standard_ND96amsr_A100_v4上進(jìn)行測(cè)量，使用了一個(gè)A100-80GB，其中應(yīng)用了NGC的TF docker 22.03-tf2-py3（optimizer=sgd, BS=256）

A100-40GB：Habana于2022年4月在DGX-A100上進(jìn)行測(cè)量，使用了一個(gè)A100-40GB，其中應(yīng)用了NGC的TF docker 22.03-tf2-py3（optimizer=sgd, BS=256）

V100-32GB?：Habana于2022年4月在p3dn.24xlarge上進(jìn)行測(cè)量，使用了一個(gè)V100-32GB，其中應(yīng)用了NGC的TF docker 22.03-tf2-py3（optimizer=sgd, BS=256）

Gaudi2：Habana于2022年5月在Gaudi2-HLS系統(tǒng)上進(jìn)行測(cè)量，使用了一個(gè)Gaudi2，其中應(yīng)用了SynapseAI TF docker 1.5.0（BS=256）

結(jié)果可能有所不同。

BERT性能對(duì)比中使用的測(cè)試配置

A100-80GB：Habana于2022年4月在Azure實(shí)例Standard_ND96amsr_A100_v4上進(jìn)行測(cè)試，使用了一個(gè)A100-80GB，包含NGC的TF docker 22.03-tf2-py3（Phase-1：Seq len=128，BS=312，accu steps=256；Phase-2：seq len=512，BS=40，accu steps=768） 

A100-40GB：Habana于2022年4月在DGX-A100上進(jìn)行測(cè)試，使用了一個(gè)A100-40GB，包含NGC的TF docker 22.03-tf2-py3（Phase-1：Seq len=128，BS=64，accu steps=1024；Phase-2：seq len=512，BS=16，accu steps=2048）

V100-32GB：Habana于2022年4月在上p3dn.24xlarge進(jìn)行測(cè)試，使用了一個(gè)V100-32GB，包含NGC的TF docker 21.12-tf2-py3（Phase-1：Seq len=128，BS=64，accu steps=1024；Phase-2：seq len=512，BS=8，accu steps=4096）

Gaudi2：Habana于2022年5月在上Gaudi2-HLS進(jìn)行測(cè)試，使用了一個(gè)Gaudi2，包含SynapseAI TF docker 1.5.0（Phase-1：Seq len=128，BS=64，accu steps=1024；Phase-2：seq len=512，BS=16，accu steps=2048）

結(jié)果可能有所不同。

Habana Labs、Habana、Habana標(biāo)識(shí)、Gaudi和SynapseAI是Habana Labs的商標(biāo)。