定制芯片市場,被巨頭瞄準了
最近,有消息傳出英偉達正在建立一個新的業(yè)務部門,這個部門專注為云計算公司和其他公司設計定制芯片(ASIC)。
本文引用地址:http://2s4d.com/article/202402/455695.htm這個新的部門將由半導體資深人士 Dina McKinney 領(lǐng)導。McKinney 曾擔任負責 AMD CPU 設計和 Marvell 基礎(chǔ)設施處理器的副總裁,他將負責監(jiān)督為云計算、5G 電信、游戲、汽車等領(lǐng)域構(gòu)建定制芯片的團隊。
那么,英偉達為什么要下場定制芯片(ASIC 芯片),英偉達下場后能夠在 ASIC 市場中稱王稱霸嗎?
為什么英偉達選擇 ASIC?
英偉達選擇 ASIC 的原因,其實從其新部門面向客戶中可以窺見一二。新部門面向的主要是云計算公司,這和英偉達目前在主要的北美 CSP(云計算供應商)企業(yè)重疊,包括 Google Cloud、AWS、Microsoft Azure 和 Meta 等企業(yè)。
這些企業(yè)都已經(jīng)開始進行自家芯片的開發(fā),例如 Google 的 TPU 和微軟的 AI 加速器 Maia 及專為 Azure 設計的 CPU「Cobalt」。
因此英偉達進軍 ASIC 的原因有二:第一,占領(lǐng)新的市場。第二,保護自己免受替代。
先來看占領(lǐng)新的市場。數(shù)據(jù)中心定制芯片的蛋糕并不小,據(jù)研究公司 650 Group 估計,數(shù)據(jù)中心定制芯片市場今年將增長至 100 億美元,到 2025 年將翻一番。
Needham 分析師 Charles Shi 表示,2023 年更廣泛的定制芯片市場價值約為 300 億美元,約占全球芯片年銷售額的 5%。
數(shù)據(jù)中心的定制芯片的市場中有兩大巨頭:博通和 Marvell。在高端 ASIC 市場,博通以 35%的市占率,穩(wěn)坐龍頭寶座,Marvel 以 12%的市占率居次。博通和 Marvell 其實都認為隨著數(shù)據(jù)中心處理器變的多樣,會讓定制芯片的模式重新煥發(fā)生機。
原因在于,AI 時代中,ASIC 芯片也能撐起一片天。
這就談回了一個老問題:ASIC、GPU,誰是最合適的 AI 芯片?其實這兩類芯片有各自的特點,但在滿足算力需求上是相互競爭的。簡單來說,GPU 有先發(fā)優(yōu)勢,技術(shù)發(fā)展時間長,使用成本較低,但是功耗高。ASIC 面向特定用戶需求設計的定制芯片,在吞吐量、功耗、算力水平等方面都有優(yōu)勢。
在 20 世紀 90 年代時,很多大型企業(yè)都渴望設計和提供針對特定應用的定制 ASIC 設備,同時提供更好的性能。Sony、Toshiba 和 IBM 最初設計的用于 Sony Playstation 3 的 Cell Processor 就是一個例子。不過,由于 ASIC 的成本高,隨著為特定產(chǎn)品設計 ASIC 變得越來越難以合理規(guī)模,ASIC 的歲月似乎過去。
ASIC 和 GPU 的分歧就在這:成本。
因為從性能來看,針對特定場景或應用所設計的 ASIC 芯片,會比英偉達所賣的通用 GPU 更有優(yōu)勢。以前一直使用 GPU,也帶火了英偉達等廠商的業(yè)績和股價,但后來大家發(fā)現(xiàn),隨著機器學習、邊緣計算發(fā)展,算法更加成熟和穩(wěn)定,自己完全有足夠的計算需求去分攤 ASIC 的成本。
尤其 ChatGPT 爆火以后,英偉達 GPU 產(chǎn)品掉隊,很多企業(yè)都是靠著服務器 CPU+ASIC 的形式,來滿足用戶對于 AI 訓練和推理的算力需求。
這就展示出 ASIC 在 AI 時代的作用。Marvell 的計算與定制集團技術(shù)副總裁 Mark Kuemerle 觀察到:「關(guān)于這些數(shù)據(jù)中心客戶的有趣事實是,如果他們的系統(tǒng)中出現(xiàn)輕微的瓶頸點,問題會被放大 1000 倍甚至更多(因為它們部署在超大規(guī)模中)。」這樣的瓶頸點可能導致 NIC 卡住?,F(xiàn)成的機器學習設備可能無法匹配工作負載或滿足靈活性或可編程性的需求。
Kuemerle 說:「這些超大規(guī)模數(shù)據(jù)中心真的必須將一切精確調(diào)整到他們的工作負載。那么,他們投資建設定制芯片絕對是值得的?!?/span>
ASIC 早已成為 GPU 面臨的強大競爭者。
雖說各大廠商購買英偉達 GPU,花錢如流水,既然都是流水,為什么不定制更適合自家應用場景的芯片呢?要定制就要花錢,英偉達同樣想把大廠定制芯片的錢,納入自己的錢包。
再來看「免受替代」是怎么回事。目前,谷歌、亞馬遜、特斯拉和 Meta 都推出了 ASIC 芯片。
谷歌 2015 年發(fā)布首款 ASIC 芯片 TPU v1,去年已經(jīng)迭代到了 v5。根據(jù)官方提供的數(shù)據(jù),每個 TPU v5p pod 在三維環(huán)形拓撲結(jié)構(gòu)中,通過最高帶寬的芯片間互聯(lián)(ICI),以 4,800 Gbps/chip 的速度將 8,960 個芯片組合在一起,與 TPU v4 相比,TPU v5p 的 FLOPS 和高帶寬內(nèi)存(HBM)分別提高了 2 倍和 3 倍。
谷歌使用 TPU v5p 壘起一道抵御英偉達 GPU 的高墻。
對于谷歌來說,要錢有錢,要技術(shù)有技術(shù),要應用場景有應用場景,可以說是各大科技巨頭中在自研 AI 芯片這條路上走得最遠的,其他廠商目前還在源源不斷地給英偉達賬戶打錢,但谷歌卻早已做好了兩手準備。
微軟則也是打響了「逃離英偉達」的信號槍。最新的消息,微軟正在開發(fā)一款新的網(wǎng)卡,可以提高其 Maia AI 服務器芯片的性能,并有可能減少該公司對芯片設計商 Nvidia 的依賴。
有知情人士表示,微軟首席執(zhí)行官薩蒂亞·納德拉 (Satya Nadella ) 已任命網(wǎng)絡設備開發(fā)商瞻博網(wǎng)絡 (Juniper Networks) 聯(lián)合創(chuàng)始人普拉迪普·辛杜 (Pradeep Sindhu) 來領(lǐng)導網(wǎng)卡工作。
看來出于成本和自主率考慮,大廠還是更愿意使用自家的 ASIC。買英偉達的 GPU 不但價格高昂,并且受制于人。不過,使用自家芯片多一些,那就用英偉達 GPU 少一些。
英偉達能稱霸嗎?
谷歌推出自家 ASIC 的背后,與博通有很大關(guān)系。去年說到最紅火的企業(yè)是英偉達,而背后還有一個賣鏟人也在悶聲發(fā)財——博通。目前博通的市值已經(jīng)達到了 5741.98 億美元,已經(jīng)超過了臺積電的市值。
其實從收入來看,博通是全球第二大人工智能芯片公司,僅次于英偉達。博通加速器的銷售額往往高達數(shù)十億美元。
谷歌與博通合作,負責谷歌 TPU 的物理設計,本質(zhì)上是基于谷歌的設計圖紙開發(fā)芯片。此外,博通還負責監(jiān)督臺積電的芯片代工業(yè)務。自谷歌和博通開始合作以來,谷歌每兩年左右發(fā)布新一代 TPU。知情人士稱,谷歌和博通把每一代 TPU 的性價比提高了至少 50%。
博通與各大巨頭公司合作定制芯片。不但參與了谷歌每一代 TPU 處理器的設計,還與 Meta、蘋果等公司達成合作,共同設計生產(chǎn)芯片。
研究機構(gòu) SemiAnalysis 創(chuàng)始人表示,博通定制芯片業(yè)務規(guī)模達 100 億美元,美滿電子規(guī)模達 20 億美元,英偉達的參與確實是一個威脅。
英偉達能否稱霸 ASIC 市場關(guān)鍵也是看兩點能力:設計和議價能力。
先來看設計能力。作為定制芯片,芯片設計的好壞肯定直接會影響到 CSP 大廠數(shù)據(jù)中心的運行能力,以及成本高低。對于大廠來說,只要能夠提供強大的性能,即使芯片的價格偏高,也會愿意買單。
我們先來看看一臺 AI 服務器究竟需要哪些芯片?如果拆開一臺 AI 服務器內(nèi)部,以 HGX H100 8-GPU 為例,8 塊 H100 GPU 在全新的 FP8 精度下 AI 性能比上一代高 6 倍,可提供 900GB/s 的帶寬,該服務器內(nèi)部包含 NVLink、PCIe 和 QPI 等主板總線。GPU 之間的互聯(lián)通過 NVSwitch 芯片來實現(xiàn),CPU 與 GPU 之間的互聯(lián)則通過 PCIe 5.0 總線實現(xiàn)。
英偉達自家的高速傳輸 NV Link、開發(fā)者軟件 CUDA 和 Omniverse 等軟件套件,這些帶了極大優(yōu)勢。
但是 PCle Switch 也很重要,而這個領(lǐng)域是博通的天下。全球 PCle Switch 三大供應商,博通、微芯、祥碩科技三家,共占有全球約 58% 的份額。博通作為 PCI Express 交換領(lǐng)域的領(lǐng)導者,出貨量超過 10 億個。
前文我們提到博通參與了很多公司的定制芯片,為什么各大公司都看中博通呢?不僅僅是芯片設計的能力,博通有自己的「護城河」芯片間的通信。
博通是 SerDes(串行器/解串器)的通信技術(shù)無可爭議的壟斷巨頭。SerDes 接口通過在傳輸之前將低速并行數(shù)據(jù)轉(zhuǎn)換為高速串行數(shù)據(jù),然后在接收端轉(zhuǎn)換回并行數(shù)據(jù),目的在于允許數(shù)據(jù)從一個 TPU 高速移動到另一個 TPU,提升信號傳輸效率。在全球 50GB/S 的 SerDes 市場中,博通占據(jù)了 76% 的市場份額。
這么來看,英偉達、博通在芯片設計方面,都有自己的「護城河」。
從芯片議價能力來說,英偉達在晶圓的采購量上要比博通、邁威爾大得多。在這樣的狀況下,議價能力也相對較高。沿用此邏輯來看,即使 CSP 廠擁有強大的 IC 設計團隊,也不見得可取得最佳價格。
如果 CSP 能與臺積電簽訂具價格競爭力的長約,有機會在價格上獲得優(yōu)勢,打破英偉達的壟斷局面。
結(jié)語
總的來說,由于仍有許多存在于云端大廠外的語言模型,因此通用型 GPU 仍有生存空間。
目前英偉達是否會成立 ASIC 部門還未確認。一名 IC 設計代工管理層透露,英偉達一直都有在看 ASIC 市場,曾經(jīng)找上門希望能外包部分 ASIC 方案。換句話說,當時的英偉達即使正生產(chǎn)通用型芯片,仍一面通過外包的方式,吃下 ASIC 市場。
如今,ASIC 的市場需求日益壯大,作為 AI 霸主英偉達自然不會視而不見,加上還擁有如高速傳輸 NV Link、開發(fā)者軟件 CUDA 等技術(shù)優(yōu)勢。目前 ASIC 競爭對手如博通(Broadcom)、Marvell 亦多有布局,博通執(zhí)行長更在傳出加入 Meta 董事會,英偉達的新策略是否沖擊市場,值得持續(xù)關(guān)注。
評論