破局GPU的AI霸權(quán) Intel Gaudi3幫國內(nèi)廠商探路

如果說人工智能是最近當(dāng)紅的技術(shù)話題一哥，那么這個(gè)應(yīng)用背后的硬件則是中國半導(dǎo)體產(chǎn)業(yè)不可名狀的悲傷。從2022年對高性能3nm GAA-FET的EDA應(yīng)用審批開始，美國政府針對中國或全球半導(dǎo)體的各種禁令在公開層面的主要目標(biāo)只有一個(gè)，就是中國AI硬件產(chǎn)業(yè)。

美國政府針對中國AI產(chǎn)業(yè)先是禁了高端AI芯片在中國市場的銷售，隨后叫停了美籍人員參與中國芯片設(shè)計(jì)的資格，第三步是直接要求先進(jìn)代工廠拒絕為滿足一定性能和工藝的中國AI芯片代工，最后干脆今年清明節(jié)開始對含有部分禁售性能邊緣芯片的整機(jī)設(shè)備也一刀切禁掉。打蛇打七寸，沒有了高性能AI處理器芯片，中國企業(yè)進(jìn)行AI訓(xùn)練和部署的效率必然大打折扣，至少在高端AI應(yīng)用上事倍功半。在目前新項(xiàng)目融資言必提及AI的美國華爾街，AI市場未來預(yù)期分析一致認(rèn)為，中美兩國的AI應(yīng)用水平幾乎領(lǐng)先全球其他地方至少3-5年，而兩者之間的差距則微乎其微。如果把AI當(dāng)作未來工業(yè)5.0時(shí)代的標(biāo)準(zhǔn)技術(shù)，要繼續(xù)穩(wěn)固美國的AI霸權(quán)，目前最直接和唯一有效的手段也只能是扼住AI芯片在中國應(yīng)用的咽喉了。

在這一背景下，不管是英偉達(dá)最新劃時(shí)代的B200還是英特爾隨后推出的Gaudi 3，都在中文網(wǎng)絡(luò)反響平平，畢竟當(dāng)一眾看客還在驚嘆于兩家公司新推出的AI處理器性能多么彪悍的背后，很多人似乎忘記了這兩款產(chǎn)品從誕生之初就必然跟中國市場無緣，甚至為了圍追堵截進(jìn)入中國的通幽曲徑，美國干脆連一些跟中國關(guān)系不錯(cuò)的市場也一并禁掉了。

當(dāng)然，貴為如今半導(dǎo)體銷售額第一第二的英特爾和英偉達(dá)也不想放棄中國市場，畢竟按照某美國不靠譜分析機(jī)構(gòu)在被管制之前的調(diào)研，中國AI相關(guān)大算力硬件市場規(guī)模占了全球40%以上。只是不管是英特爾的Gaudi2特供版還是英偉達(dá)的4090特供版，似乎業(yè)界反響都很一般，畢竟閹割后的硬件比國內(nèi)的AI芯片又能強(qiáng)得了多少？不過據(jù)說搶在禁令前的某批特供版似乎是滿血規(guī)格，市場搶購速度堪比小米SU7（畢竟兩者價(jià)格類似）。與之相對應(yīng)的是，當(dāng)年至少三家國內(nèi)企業(yè)的GPU新品發(fā)布時(shí)直接對標(biāo)性能不輸A100，但是面對閹割版的4090時(shí)似乎都沒有信心一戰(zhàn)，禁令后國產(chǎn)GPU新品再無“碰瓷”A100的宣傳口徑也值得唏噓。

但是，服務(wù)器加速和AI推理訓(xùn)練應(yīng)用真的只能GPU一家獨(dú)大么？GPU，F(xiàn)PGA和NPU，作為從服務(wù)器加速演進(jìn)到AI算力池構(gòu)建的三大計(jì)算加速利器，卻因?yàn)橛ミ_(dá)在CUDA上的十年生態(tài)鋪墊最后演變成GPU的一家獨(dú)大。這也導(dǎo)致國內(nèi)部署AI算力的初創(chuàng)公司紛紛以GPU為切入點(diǎn)，甚至跳過PC級(jí)GPU的研發(fā)直接沖刺服務(wù)器和AI訓(xùn)練用GPU。從單純芯片設(shè)計(jì)角度，GPU的結(jié)構(gòu)相對并不復(fù)雜，但GPU高性能的關(guān)鍵特性國內(nèi)廠商一個(gè)都沒有，沒有EDA授權(quán)先進(jìn)工藝就用不了這意味著密度上不去，高速傳輸美國不讓用導(dǎo)致傳輸效率提不起來，現(xiàn)在英偉達(dá)干脆直接要在未來禁止第三方硬件直接套用CUDA，那么對國產(chǎn)GPU芯片設(shè)計(jì)公司來說，連GPU在AI算力構(gòu)建中最核心的優(yōu)勢都不復(fù)存在，既然如此為何不考慮轉(zhuǎn)型走差異化道路呢？

說到AI處理器的差異化競爭，無論是服務(wù)器加速，還是AI算力構(gòu)建，從技術(shù)上并不是只有GPU一條路可以走。雖然GPU目前在密度和大規(guī)模簡單計(jì)算方面存在明顯的優(yōu)勢，但既然這條路受到各種各樣的限制，為何不嘗試其他幾條路呢？這兩天英特爾發(fā)布的Gaudi 3 就是國產(chǎn)AI芯片廠商值得學(xué)習(xí)的一個(gè)思路。作為同時(shí)擁有CPU、GPU、NPU和FPGA的處理器傳統(tǒng)巨頭，即使已經(jīng)推出了用于服務(wù)器加速的GPU，并且在至強(qiáng)內(nèi)核上增加了NPU單元，但英特爾真正看重的AI應(yīng)用還是Gaudi 3。

我們先來看看Gaudi 3和Gaudi 2的區(qū)別，Gaudi 3將64個(gè)Tensor processor Core（TPCs）封裝在兩個(gè)計(jì)算Tile中，128GB HBM和共享96MB緩存池且擁有8個(gè)MME，24*200GbE和16個(gè)PCIe5 傳輸接口，借助高速互連技術(shù)兩個(gè)計(jì)算Tile片內(nèi)傳輸效率極高。而上一代Gaudi 2 只有24個(gè)TPC，48MB緩存，以及2個(gè)MME。在算力表現(xiàn)方面，Gaudi 3在BF16精度下可提供4倍的AI計(jì)算能力、1.5倍的內(nèi)存帶寬、2倍的網(wǎng)絡(luò)帶寬，支持大規(guī)模系統(tǒng)橫向擴(kuò)展，最多可擴(kuò)展至8192個(gè)芯片的參考架構(gòu)。相比于Gaudi 2在發(fā)布時(shí)性能方面只能拉著數(shù)年前英偉達(dá)的A100進(jìn)行比較，Gaudi 3在性能方面則挑戰(zhàn)2022年的英偉達(dá)主打產(chǎn)品H100：對比NVIDIA H100，它在流行LLM上的推理性能領(lǐng)先50％、訓(xùn)練時(shí)間快40％。Gaudi 3預(yù)計(jì)可大幅縮短70億和130億參數(shù)Llama2模型、1750億參數(shù)GPT-3模型的訓(xùn)練時(shí)間。在Llama 70億/700億參數(shù)、Falcon 1800億參數(shù)大型語言模型上，Gaudi 3的推理吞吐量和能效也都非常出色。英特爾宣稱Gaudi 3的AI表現(xiàn)能力不遜色于去年英偉達(dá)推出的H200，但現(xiàn)場并未展示對比性能數(shù)據(jù)。不過從Gaudi 2 選擇跟H100一樣的臺(tái)積電7nm工藝，到Gaudi 3 選擇跟H200一樣的臺(tái)積電5nm工藝，究竟Gaudi 3 瞄準(zhǔn)的是哪一款英偉達(dá)產(chǎn)品已經(jīng)不言而喻。

為什么我們要說Gaudi 3 的發(fā)布給了很多中國AI企業(yè)沖擊美國GPU在AI算力方面霸權(quán)的很好思路借鑒呢？首先，從工藝角度，英特爾放棄自己生產(chǎn)線而選擇臺(tái)積電，這還是在英特爾宣稱的4年5代工藝趕超計(jì)劃進(jìn)展順利的基礎(chǔ)上，現(xiàn)在從官宣量產(chǎn)工藝上英特爾已經(jīng)突破了4nm這個(gè)節(jié)點(diǎn)，甚至一直宣稱自己工藝密度方面比TSMC更好。Gaudi 2和Gaudi 3依然選擇臺(tái)積電代工，說明英特爾把自己挑戰(zhàn)者的姿態(tài)擺得很明白，選擇同樣的工藝確保在密度和成本上不會(huì)有太明顯的差異。更重要的原因是，作為很早就放棄ASIC工藝的英特爾，估計(jì)自己也沒信心去打造可靠的類ASIC晶圓以打造自己對抗英偉達(dá)的主力軍吧。筆者建議如果英特爾希望更好地挑戰(zhàn)英偉達(dá)的AI霸主地位，還是重拾ASIC制造技藝，同時(shí)好好研究怎么跟自己的Foveros 3D封裝更好地結(jié)合（不過近期據(jù)說英特爾內(nèi)部結(jié)算中制造業(yè)務(wù)錄得的負(fù)利潤有點(diǎn)可怕，利潤差可能需要1個(gè)蘋果這樣量級(jí)的客戶才能抹平）。其次，Gaudi 3的堆料在NPU方面已經(jīng)堪稱恐怖，當(dāng)然這也是性能提升基礎(chǔ)條件，畢竟習(xí)慣于做復(fù)雜運(yùn)算的英特爾曾經(jīng)并不喜歡用堆料來提升處理能力。對于AI加速和AI推理應(yīng)用的處理需求，對比英特爾傳統(tǒng)的CPU計(jì)算需求，大概可以類比于算2的平方和算2的平方差，計(jì)算難度不可同日而語，可是如果只需要計(jì)算2的平方，GPU的運(yùn)算單元幾乎十倍于CPU，這時(shí)候堆運(yùn)算單元才是正解。所以這次Gaudi 3 直接把TPC從24提升到64，MME更是從2擴(kuò)充到8個(gè)，那么AI加速性能表現(xiàn)大幅提升一點(diǎn)也不奇怪。甚至從整個(gè)Gaudi 3目前流出來的架構(gòu)示意中，我們依稀可以看到更加明顯的類ASIC化趨勢，如果仔細(xì)研究一下從eFPGA到后來的eASIC以及兩大FPGA巨頭的硬件重新ASIC化的趨勢，AI處理器的關(guān)鍵需求正在推動(dòng)未來NPU和AI加速器芯片重回ASIC。

即使已經(jīng)推出服務(wù)器加速GPU的英特爾還是選擇Gaudi 3作為AI加速突破口，國內(nèi)廠商應(yīng)該也需要接受短期內(nèi)很難正面對抗英偉達(dá)GPU在AI應(yīng)用的優(yōu)勢，特別是CUDA不讓用就更應(yīng)該早點(diǎn)暗度陳倉。Gaudi 3第一個(gè)值得國產(chǎn)AI處理器企業(yè)學(xué)習(xí)的就是選擇新的路線去針對性瞄準(zhǔn)AI的一個(gè)應(yīng)用方向堆料?？赡苷麄€(gè)AI的綜合表現(xiàn)不如GPU，但在某一個(gè)點(diǎn)能有突破才能有破局的機(jī)會(huì)，否則只會(huì)被壓制的越來越狠。現(xiàn)在的AI內(nèi)核很多，不止有RISC-V這種開源架構(gòu)，還有Arm的Ethos-U AI 加速器及物聯(lián)網(wǎng)參考設(shè)計(jì)平臺(tái)Corstone-320，以及各種IP供應(yīng)商的NPU內(nèi)核，都是可以進(jìn)行相關(guān)AI加速和AI推理等處理器的設(shè)計(jì)。而且部分內(nèi)核IP更適合ASIC化，雖然在成本和靈活性方面有所不足，但是可以彌補(bǔ)在性能方面的不足。按照美國對中國AI產(chǎn)業(yè)的禁運(yùn)標(biāo)準(zhǔn)，性能才是目前中國AI芯片最需要突破的一環(huán)，先把性能做上去再靠著大規(guī)模應(yīng)用的優(yōu)勢把成本一點(diǎn)點(diǎn)降下來，這才是合理的路徑。最重要的一點(diǎn)，ASIC化的芯片雖然失去一些靈活性但是性能表現(xiàn)可以在一定程度彌補(bǔ)工藝的不足。因?yàn)閲鴥?nèi)現(xiàn)在幾乎無法設(shè)計(jì)先進(jìn)工藝的AI芯片（美國不讓），因此我們估計(jì)AI芯片的節(jié)點(diǎn)暫時(shí)最理想也是用7nm，但是國內(nèi)目前先進(jìn)封裝還是有機(jī)會(huì)繼續(xù)選用的，那么最終產(chǎn)品的性能表現(xiàn)似乎也不會(huì)相比于國際頂尖水平差太多。最最重要的是，美國目前禁運(yùn)的技術(shù)指標(biāo)參考的兩點(diǎn)是芯片內(nèi)傳輸速率和計(jì)算能力TFLOPS，但是如果你做成ASIC后，這兩個(gè)指標(biāo)的要求其實(shí)可以適當(dāng)降低，但不影響最終芯片的整體性能表現(xiàn)（ASIC固化的優(yōu)勢），這樣是不是就可以一定程度上繞開美國禁令中禁止代工廠生產(chǎn)中國廠商AI芯片的部分性能要求，從而能夠做出實(shí)際應(yīng)用表現(xiàn)超越管制技術(shù)規(guī)格的產(chǎn)品。

當(dāng)然最后一條似乎也是當(dāng)初中國特供版Gaudi2 的一些技巧，雖然中國特供版Gaudi2晚了一年問世，但目前看Gaudi 3短期內(nèi)是不要想有特供版了，除非鎖死一半的TCPs以及降低三分之一片內(nèi)傳輸速率，否則根本沒可能繞開禁令中的性能和傳輸要求。當(dāng)然如果真那樣了，那跟現(xiàn)在的Gaudi2 又有什么區(qū)別呢？

作為旁觀者，我們不妨去關(guān)注Gaudi 3 挑戰(zhàn)H200的實(shí)際表現(xiàn)和市場接受程度，雖然中國市場幾乎不太可能體驗(yàn)到Gaudi 3 但卻為國內(nèi)AI處理器設(shè)計(jì)廠商提供了正面挑戰(zhàn)英偉達(dá) GPU在AI應(yīng)用霸權(quán)的新思路，希望這能為國產(chǎn)AI芯片百花齊放帶來有益借鑒。