Habana Gaudi加速器首次運用于Amazon EC2云

“性價比提升高達40%”以及背后的數(shù)字

近日AWS宣布將推出采用Habana^? Gaudi^? AI加速器的Amazon EC2 DL1.24xlarge實例。這是AWS首個不基于GPU的AI訓(xùn)練實例。

AWS首席執(zhí)行官Andy Jassy在2020 re:Invent和AWS最近宣布實例應(yīng)用的活動上，介紹了創(chuàng)建這一新型訓(xùn)練實例類的初衷：“為終端客戶提供比目前這一代基于GPU的實例性價比提升40%的新實例。”

以下詳述Gaudi在常用計算機視覺和自然語言處理工作量方面具備的成本效益。

AWS針對EC2 DL1實例以及基于GPU的p4d、p3dn和p3實例發(fā)布了DL1按需每小時定價，終端用戶可以通過一種簡單的方法來自行評估性價比。采用Nvidia在NGC上以及Habana在軟件Vault中提供的最新TensorFlow Docker容器，并分別在不同實例上運行這些容器，可比較訓(xùn)練吞吐量和每小時定價。

不同的模型提供的結(jié)果不同，而且Gaudi上目前也并非支持所有模型。在本次評估中，我們考慮的是兩種常用模型：ResNet-50和BERT-Large。

以下表格例舉在各種實例類型上訓(xùn)練TensorFlow ResNet-50的訓(xùn)練吞吐量、每小時定價和計算出的吞吐量/美元（即百萬張圖像/美元）。以p4d.24xlarge實例上設(shè)置的性價比為基準(zhǔn)，我們可計算出對于此工作量，其他每種實例類型的相對值，以及DL1為目前使用基于GPU實例的EC2終端客戶所節(jié)省的相應(yīng)成本百分比。

(*) Habana于6月28日在基于GPU的AWS EC2實例上使用Nvidia深度學(xué)習(xí)AMI (Ubuntu 18.04) + Docker 21.06-tf1-py3所測得的結(jié)果，請訪問：https://ngc.nvidia.com/catalog/containers/nvidia.tensorflow
模型：https://github.com/NVIDIA/DeepLearningExamples/tree/master/TensorFlow/Classification/ConvNets/resnet50v1.5
您測得的性能結(jié)果可能會有所不同。
(**) Habana在AWS EC2 DL1.24xlarge實例上使用在Habana的Vault中集成了SynapseAI 1.0.1-81 Tensorflow 2.5.1容器的DLAMI所測得的結(jié)果，模型：https://github.com/HabanaAI/Model-References/tree/master/TensorFlow/computer_vision/Resnets/resnet_keras?；谠谝韵戮W(wǎng)址發(fā)布的定價：https://aws.amazon.com/ec2/pricing/on-demand
您測得的性能結(jié)果可能會有所不同。

根據(jù)Habana對各種EC2實例的測試結(jié)果以及Amazon發(fā)布的定價，我們發(fā)現(xiàn)，相比p4d實例，DL1能節(jié)省44%的ResNet-50訓(xùn)練成本。對于p3dn最終用戶，ResNet-50的訓(xùn)練成本可節(jié)省69%。

Habana認(rèn)識到MLPerf性能基準(zhǔn)測試的重要性，用戶可以查找我們在6月份發(fā)布的針對8個基于Gaudi的系統(tǒng)進行基準(zhǔn)測試的1.0提交結(jié)果 - 與DL1.24xlarge非常類似。在此次MLPerf提交結(jié)果中，Habana并沒有應(yīng)用數(shù)據(jù)封裝或?qū)尤诤系阮~外的軟件優(yōu)化功能來提高性能。我們的目標(biāo)是提交的結(jié)果與參考代碼最接近，并能代表客戶使用目前的SynapseAI^? TensorFlow軟件可以獲得的即時可用性能。因此，客戶能輕松對模型進行小幅調(diào)整（更改數(shù)據(jù)、切換層等），同時保持性能相差無幾。在TensorFlow上測得的MLPerf TTT結(jié)果與我們早期客戶現(xiàn)在看到的訓(xùn)練吞吐量相似。

雖然每個實例的絕對吞吐量有所下降，但基于Gaudi的EC2 DL1定價遠低于p4d。這是怎么做到的呢？盡管基于16nm和HBM2的Gaudi封裝的晶體管數(shù)量不如基于7nm和HBM2e的A100 GPU那么多，但Gaudi的架構(gòu)以效率為宗旨進行了全新設(shè)計，相較于GPU架構(gòu)，Gaudi架構(gòu)的資源利用率更高，包含的系統(tǒng)組件更少。結(jié)果，系統(tǒng)成本下降，從而為最終用戶提供更低價格。

在語言模型中，Gaudi與GPU的性價比提升幅度不如視覺模型，相比p4d，成本節(jié)省了10%，相比p3dn，成本節(jié)省了54%。BERT-Large是目前常用的一種模型，我們使用第1階段中的吞吐量來代表用戶可以自行測量的性能。下面是在實際EC2實例上使用Nvidia的NGC中以及Habana的Vault和GitHub中發(fā)布的最新即時可用容器和模型超參數(shù)針對TensorFlow所測得的結(jié)果。

(*) Habana于6月28日在基于GPU的AWS EC2實例上使用Nvidia深度學(xué)習(xí)AMI (Ubuntu 18.04) + Docker 21.06-tf1-py3所測得的結(jié)果，請訪問：https://ngc.nvidia.com/catalog/containers/nvidia.tensorflow/tags
模型：https://github.com/NVIDIA/DeepLearningExamples/tree/master/TensorFlow/LanguageModeling/BERT
您測得的性能結(jié)果可能會有所不同。
(**) Habana在AWS EC2 DL1.24xlarge實例上使用在Habana的Vault中集成了SynapseAI 1.0.1-81 Tensorflow 2.5.1容器的DLAMI所測得的結(jié)果，模型：https://github.com/HabanaAI/Model-References/tree/master/TensorFlow/nlp/bert
發(fā)布的定價：https://aws.amazon.com/ec2/pricing/on-demand
您測得的性能結(jié)果可能會有所不同。

Habana提交的MLPerf BERT結(jié)果代表了客戶通過目前的SynapseAI^? TensorFlow軟件可獲得的即時可用性能。因此，客戶可能輕松對模型進行小幅調(diào)整，同時保持性能相差無幾。

NVIDIA在MLPerf BERT提交結(jié)果中采用了一系列優(yōu)化功能，這些功能在其已發(fā)布的軟件中未提供，也很難用于一般用途。例如，他們將整個multi-head attention block融合到單一內(nèi)核中。如果客戶希望對長序列使用不同的attention，他們將不得不更改內(nèi)核，否則會導(dǎo)致性能下降。NVIDIA還使用了在其標(biāo)準(zhǔn)軟件分發(fā)中未提供的自定義數(shù)據(jù)加載技術(shù)。

將A100與DL1在NGC提供的最新Tensorflow AMI（基于21.06-tf1-py3 NGC Docker容器）上的BERT性能進行對比，從中可以看出就算是對于BERT也能節(jié)省成本。Habana計劃下個月向MLPerf提交對BERT實施軟件優(yōu)化后的結(jié)果，其中將證明相比5月份的提交結(jié)果，性能有顯著提高。

Gaudi的價值主張立足于性價比和易用性。Habana提供的架構(gòu)選項旨在提升效率，不會讓終端用戶遷移到Gaudi的工作產(chǎn)生困難。

如果您有興趣了解提前獲得Gaudi訪問權(quán)限的開發(fā)人員對Gaudi和DL1的看法，請參閱Habana專題介紹Amazon EC2 DL1實例的產(chǎn)品頁面，其中引述了Seagate、Riskfuel、Leidos 等公司相關(guān)人員的想法。

“我們預(yù)計，搭載Habana Gaudi加速器的Amazon EC2 DL1實例所具備的顯著性價比優(yōu)勢，在未來很可能會成為AWS計算集群的有力補充，”Seagate高級分析部運營與技術(shù)高級分析工程總監(jiān)Darrell Louder表示：“隨著Habana Labs的不斷發(fā)展，支持的運營商覆蓋范圍越來越大，有潛力擴展來支持更多的企業(yè)用例，從而進一步節(jié)省成本。”

“AI和深度學(xué)習(xí)是我們機器視覺能力的核心，有助于客戶在我們服務(wù)的各個行業(yè)中做出更好的決策。為了提高準(zhǔn)確性，數(shù)據(jù)集變得越來越大，越來越復(fù)雜，因此需要更大、更復(fù)雜的模型。這就推動了提高計算性價比的需求，”Fractal集團首席執(zhí)行官Srikanth Velamakanni說：“與基于GPU的EC2實例相比，新的Amazon EC2 DL1實例承諾能顯著降低訓(xùn)練成本。我們預(yù)計，對于廣泛的客戶來說，這一優(yōu)點將使云端的AI模型訓(xùn)練無論在成本競爭力還是可訪問性方面都較以往有大幅提升。”

Leidos衛(wèi)生與公共服務(wù)部首席技術(shù)官Chetan Paul表示：“目前我們支持推動醫(yī)療保健進步的眾多技術(shù)中，其中一項技術(shù)是使用機器學(xué)習(xí)和深度學(xué)習(xí)基于醫(yī)學(xué)成像數(shù)據(jù)對疾病進行診斷。我們的海量數(shù)據(jù)集需要及時、高效的訓(xùn)練，為苦心鉆研一些最亟待解決的醫(yī)學(xué)謎題的研究人員提供幫助。由于Leidos及其客戶需要對深度學(xué)習(xí)模型進行快速簡單而又經(jīng)濟高效的訓(xùn)練，我們很高興與英特爾和AWS攜手，共同踏上基于Habana Gaudi AI處理器的Amazon EC2 DL1實例的發(fā)展之旅。使用DL1實例后，我們預(yù)計模型訓(xùn)練速度和效率都會有所提升，進而降低研發(fā)風(fēng)險和成本?！?/p>

Riskfuel首席執(zhí)行官Ryan Ferguson表示：“有兩個因素吸引我們采用基于Habana Gaudi AI加速器的Amazon EC2 DL1實例。一是我們希望確保銀行和保險業(yè)客戶可以運行利用了最新硬件的Riskfuel模型。幸運的是，我們發(fā)現(xiàn)將模型遷移到DL1實例非常簡單 — 實際上，只需更改幾行代碼即可。二是訓(xùn)練成本在我們的支出中占主要部分，高達40%的性價比提升承諾對我們的利潤有著潛在的實質(zhì)性好處?！?/p>

如今，我們的參考模型存儲庫中有20種高需求模型，我們已經(jīng)制定了路線圖，計劃對這些模型以及軟件功能進行擴展。您也可以在Habana的GitHub上查看對所有人開放的該路線圖。

開發(fā)者之旅始于SynapseAI^? SDK。SDK的詳細信息在此不再贅述。SynapseAI^?軟件產(chǎn)品組合旨在促進基于Habana Gaudi加速器的高性能深度學(xué)習(xí)訓(xùn)練。它包括Habana圖形編譯器和運行時、TPC內(nèi)核庫、固件和驅(qū)動程序以及開發(fā)人員工具，如用于自定義內(nèi)核開發(fā)的Habana分析器和TPC SDK。

SynapseAI與TensorFlow和PyTorch框架相集成。與Gaudi PyTorch集成相比，TensorFlow集成更加成熟，因為后者的開發(fā)時間比前者晚了半年。

因此，相較于Habana在TensorFlow模型的表現(xiàn)，Habana 在PyTorch模型上的性能略低（吞吐量和訓(xùn)練時間）。我們在SynapseAI用戶指南中以及GitHub上的參考模型中記錄了已知限制。此外，我們還在Habana開發(fā)人員網(wǎng)站上發(fā)布了參考模型的性能結(jié)果。Habana團隊致力于在后續(xù)發(fā)行版中不斷提升易用性和性能。

我們十分清楚，在進一步開發(fā)軟件和模型覆蓋范圍方面還有很多工作要做，我們將依靠數(shù)據(jù)研究人員和開發(fā)人員來探索Gaudi，并向我們提供相應(yīng)的反饋和請求。我們期待通過開發(fā)人員站點和GitHub，對于云端（通過 Amazon EC2 DL1 實例）和本地使用Gaudi的問題與DL社區(qū)進行互動。

下一步，我們在軟件方面還有很多工作要做，與此同時 — Habana 正在開發(fā)下一代Gaudi2 AI處理器，新一代處理器將Gaudi架構(gòu)從16nm提升到7nm，進一步提高了性價比，造福于終端客戶，同時保持相同的架構(gòu)，并充分利用我們利用Gaudi構(gòu)建的相同SynapseAI軟件和生態(tài)系統(tǒng)。

目前，Habana團隊對通過基于Gaudi的Amazon EC2 DL1實例，為AI提供AWS云中最具成本效益的訓(xùn)練感到滿意。我們對AI傾注的關(guān)注和努力甚于以往任何時候，我們持續(xù)全情投入AI發(fā)展。