英偉達(dá)的精明商業(yè)計(jì)劃。編譯 | 半導(dǎo)體行業(yè)觀察
眾所周知，隨著生成式AI的大熱，英偉達(dá)正在數(shù)據(jù)中心領(lǐng)域大殺四方，這也幫助他們實(shí)現(xiàn)了更好的業(yè)績(jī)。根據(jù)公司公布的數(shù)據(jù)，截至 2023 年 7 月 30 日的第二季度，英偉達(dá)收入為 135.1 億美元，較上一季度增長(zhǎng) 88%，較去年同期增長(zhǎng) 101%。不過，英偉達(dá)目前的業(yè)績(jī)預(yù)期很多都是基于當(dāng)前的芯片和硬件所做的。但有分析人士預(yù)計(jì)，如果包含企業(yè) AI 及其 DGX 云產(chǎn)品，該數(shù)據(jù)中心的市場(chǎng)規(guī)模將至少是游戲市場(chǎng)的 3 倍，甚至是 4.5 倍。瑞銀分析師 Timothy Arcuri 也談道，英偉達(dá)目前在 DGX 云計(jì)算方面的收入約為 10 億美元。但在與客戶交談后，他認(rèn)為，該公司每年可能從該部門獲得高達(dá) 100 億美元的收入。理由是英偉達(dá)仍然可以在DGX云上添加額外的產(chǎn)品，包括預(yù)先訓(xùn)練的模型，訪問 H100 GPU 等等。他說，現(xiàn)在這些領(lǐng)先GPU仍然“非常難”獲得訪問，能夠根據(jù)需要擴(kuò)大和縮小規(guī)模，并與現(xiàn)有的云或內(nèi)部部署基礎(chǔ)設(shè)施“基本上無縫集成”。因此，英偉達(dá)在最近公布了一個(gè)包括 H200、B100、X100、B40、X40、GB200、GX200、GB200NVL、GX200NVL 等新部件在內(nèi)的產(chǎn)品路線圖，這對(duì)英偉達(dá)未來的發(fā)展非常重要。
01.數(shù)據(jù)中心路線圖
根據(jù) ServeTheHome 披露的路線圖，英偉達(dá)的一項(xiàng)重大變化是他們現(xiàn)在將其基于 Arm 的產(chǎn)品和基于 x86 的產(chǎn)品分開，其中 Arm 處于領(lǐng)先地位。作為參考，普通客戶現(xiàn)在甚至無法購買英偉達(dá) Grace 或 Grace Hopper，因此在 2023-2025 年路線圖的堆棧中顯示它是一個(gè)重要的細(xì)節(jié)。以下是英偉達(dá)提出的路線圖：
在 Arm 方面，英偉達(dá)計(jì)劃將在 2024 年推出GH200NVL，在 2024 年推出 GB200NVL，然后在 2025 年推出 GX200NVL。我們已經(jīng)看到 x86 NVL 系列與英偉達(dá)H100 NVL一起推出，但這些都是基于 Arm 的解決方案。然后是 2024 年推出的 GH200NVL。還有快速跟隨的 GB200NVL，然后是 GX200NVL。還有非 NVL 版本。英偉達(dá)在宣布推出雙配置的新型Hopper 144GB HBM3e 型號(hào)（可能最終成為 GH200NVL）的時(shí)候，介紹了具有 142GB/144GB 內(nèi)存的 GH200 （非 NVL）。與當(dāng)前一代產(chǎn)品相比，雙配置的內(nèi)存容量增加了 3.5 倍，帶寬增加了 3 倍，包括一臺(tái)具有 144 個(gè) Arm Neoverse 核心、8 petaflops 的 AI 性能和 282 GB 最新 HBM3e 內(nèi)存技術(shù)的產(chǎn)品。GB200 將成為 2024 年的下一代加速器，GX200 將成為 2025 年的下一代加速器。面向 x86 市場(chǎng)，英偉達(dá)預(yù)計(jì) 2024 年將推出 H200，它會(huì)在 Hopper 架構(gòu)上進(jìn)行更新，并具有更多內(nèi)存。B100 和 B40是下一代架構(gòu)部件，隨后是2025年的 X100 和 X40?？紤]到 B40 和 X40 位于“企業(yè)”賽道上，而當(dāng)前的 L40S 是 PCIe 卡，因此這些可能是 PCIe 卡。在網(wǎng)絡(luò)方面，Infiniband 和以太網(wǎng)都將于 2024 年從 400Gbps 發(fā)展到 800Gbps，然后在 2025 年達(dá)到 1.6 Tbps。鑒于我們已經(jīng)在 2023 年初研究了博通 Tomahawk 4 和交換機(jī)，并看到了合作伙伴今年的800G 博通 Tomahawk 5 交換機(jī)，感覺有點(diǎn)像英偉達(dá)以太網(wǎng)產(chǎn)品組合在以太網(wǎng)方面明顯落后。博通的 2022-2023 年 800G 系列似乎與英偉達(dá)的 2024 年升級(jí)保持一致，英偉達(dá)在 2023 年中期宣布了 Spectrum 4，而Tomahawk 5 則在大約 21-22 個(gè)月前宣布。在業(yè)界，芯片發(fā)布與投入生產(chǎn)之間通常存在很大的差距。
由此可見，在 Infiniband 方面，英偉達(dá)是孤軍奮戰(zhàn)。從該路線圖中，我們沒有看到 NVSwitch/NVLink 路線圖。其他人工智能硬件公司應(yīng)該會(huì)被英偉達(dá)的企業(yè)人工智能路線圖嚇到。在人工智能訓(xùn)練和推理領(lǐng)域，這意味著 2024 年將更新當(dāng)前的 Hopper，然后在 2024 年晚些時(shí)候過渡到 Blackwell 一代，并在 2025 年采用另一種架構(gòu)。在 CPU 方面，我們最近已經(jīng)看到了令人激動(dòng)的更新節(jié)奏，x86 方面的核心數(shù)量之戰(zhàn)出現(xiàn)了大幅增長(zhǎng)。例如，英特爾的頂級(jí)至強(qiáng)核心數(shù)量預(yù)計(jì)從 2021 年第二季度初到 2024 年第二季度將增加 10 倍以上。英偉達(dá)在數(shù)據(jù)中心領(lǐng)域似乎也在緊跟這一步伐。對(duì)于構(gòu)建芯片的人工智能初創(chuàng)公司來說，考慮到英偉達(dá)的新路線圖步伐，這現(xiàn)在是一場(chǎng)競(jìng)賽。對(duì)于英特爾、AMD，或許還有 Cerebras 來說，隨著英偉達(dá)銷售大型高利潤(rùn)芯片，他們的目標(biāo)將會(huì)發(fā)生變化。它還將基于 Arm 的解決方案置于頂級(jí)賽道中，這樣它不僅可以在 GPU/加速器方面獲得高利潤(rùn)，而且可以在 CPU 方面獲得高利潤(rùn)。一個(gè)值得注意的落后者似乎是以太網(wǎng)方面，這感覺很奇怪。
02.精準(zhǔn)的供應(yīng)鏈控制
據(jù) SemiAnalysis 說法，英偉達(dá)之所以能夠在群雄畢至的AI芯片市場(chǎng)一枝獨(dú)秀，除了他們?cè)谟布蛙浖系牟季滞猓瑢?duì)供應(yīng)鏈的控制，也是英偉達(dá)能坐穩(wěn)今天位置的一個(gè)重要原因。英偉達(dá)過去多次表明，他們可以在短缺期間創(chuàng)造性地增加供應(yīng)。英偉達(dá)愿意承諾不可取消的訂單，甚至預(yù)付款，從而獲得了巨大的供應(yīng)。目前，英偉達(dá)有 111.5 億美元的采購承諾、產(chǎn)能義務(wù)和庫存義務(wù)。英偉達(dá)還額外簽訂了價(jià)值 38.1 億美元的預(yù)付費(fèi)供應(yīng)協(xié)議。單從這方面看，沒有其他供應(yīng)商可以與之相媲美，因此他們也將無法參與正在發(fā)生的狂熱AI浪潮。自英偉達(dá)成立之初起，黃仁勛就一直積極布局其供應(yīng)鏈，以推動(dòng)英偉達(dá)的巨大增長(zhǎng)雄心。黃仁勛曾在重述了他與臺(tái)積電創(chuàng)始人張忠謀的早期會(huì)面中說：“1997 年，當(dāng)張忠謀和我相遇時(shí)，英偉達(dá)那一年的營收為 2700 萬美元。我們有 100 個(gè)人，然后我們見面了。你們可能不相信這一點(diǎn)，但張忠謀曾經(jīng)打銷售電話。你以前經(jīng)常上門拜訪，對(duì)嗎？你會(huì)進(jìn)來拜訪客戶，我會(huì)向張忠謀解釋英偉達(dá)做了什么，你知道，我會(huì)解釋我們的芯片尺寸需要有多大，而且每年都會(huì)變得越來越大而且更大。你會(huì)定期回到英偉達(dá)，讓我再講一遍這個(gè)故事，以確保我需要那么多晶圓，明年，我們開始與臺(tái)積電合作。英偉達(dá)做到了，我認(rèn)為是 1.27 億，然后，從那時(shí)起，我們每年增長(zhǎng)近 100%，直到現(xiàn)在?！?/span>
張忠謀一開始不太相信英偉達(dá)需要這么多晶圓，但黃仁勛堅(jiān)持了下來，并利用了當(dāng)時(shí)游戲行業(yè)的巨大增長(zhǎng)。英偉達(dá)通過大膽供應(yīng)而取得了巨大成功，而且通常情況下他們都是成功的。當(dāng)然，他們必須時(shí)不時(shí)地減記價(jià)值數(shù)十億美元的庫存，但他們?nèi)匀粡某~訂購中獲得了積極的收益。如果某件事有效，為什么要改變它？最近這一次，英偉達(dá)又搶走了 SK 海力士、三星、美光 HBM 的大部分供應(yīng)，這是 GPU 和 AI 芯片正在追逐的又一個(gè)核心。英偉達(dá)向所有 3 個(gè) HBM 供應(yīng)商下了非常大的訂單，并且正在擠出除博通/谷歌之外的其他所有人的供應(yīng)。此外，英偉達(dá)還已經(jīng)買下了臺(tái)積電 CoWoS 的大部分供應(yīng)。但他們并沒有就此止步，他們還出去考察并買下了 Amkor 的產(chǎn)能。英偉達(dá)還利用了 HGX 板或服務(wù)器所需的許多下游組件，例如重定時(shí)器、DSP、光學(xué)器件等。拒絕英偉達(dá)要求的供應(yīng)商通常會(huì)受到“胡蘿卜加大棒”的對(duì)待。一方面，他們可以從英偉達(dá)那里獲得看似難以想象的訂單，另一方面，他們也面臨著被英偉達(dá)現(xiàn)有供應(yīng)鏈所設(shè)計(jì)的問題。他們僅在供應(yīng)商至關(guān)重要并且無法設(shè)計(jì)出來或多源時(shí)才使用提交和不可取消。每個(gè)供應(yīng)商似乎都認(rèn)為自己是人工智能贏家，部分原因是英偉達(dá)從他們那里訂購了大量訂單，而且他們都認(rèn)為自己贏得了大部分業(yè)務(wù)，但實(shí)際上，英偉達(dá)的發(fā)展速度是如此之快，甚至已經(jīng)超出了他們的想想。回到上面的市場(chǎng)動(dòng)態(tài)，雖然英偉達(dá)的目標(biāo)是明年數(shù)據(jù)中心銷售額超過 700 億美元，但只有谷歌擁有足夠的上游產(chǎn)能，能夠擁有超過 100 萬個(gè)規(guī)模的有意義的單元。即使AMD最新調(diào)整了產(chǎn)能，他們?cè)贏I方面的總產(chǎn)能仍然非常溫和，最高只有幾十萬臺(tái)。
03.精明的商業(yè)計(jì)劃
眾所周知，英偉達(dá)正在利用 GPU 的巨大需求，利用 GPU 向客戶進(jìn)行追加銷售和交叉銷售。供應(yīng)鏈上的多位消息人士告訴SemiAnalysis，英偉達(dá)正在基于多種因素對(duì)企業(yè)進(jìn)行優(yōu)先分配，這些因素包括但不限于：多方采購計(jì)劃、計(jì)劃生產(chǎn)自己的人工智能芯片、購買英偉達(dá)的 DGX、網(wǎng)卡、交換機(jī)和光學(xué)器件等。SemiAnalysis 指出，CoreWeave、Equinix、Oracle、Applied Digital、Lambda Labs、Omniva、Foundry、Crusoe Cloud 和 Cirrascale 等基礎(chǔ)設(shè)施提供商所面臨的分配的產(chǎn)品數(shù)量遠(yuǎn)比亞馬遜等大型科技公司更接近其潛在需求。事實(shí)上，英偉達(dá)的捆綁銷售非常成功，盡管之前是一家規(guī)模很小的光收發(fā)器供應(yīng)商，但他們的業(yè)務(wù)在 1 季度內(nèi)增長(zhǎng)了兩倍，并有望在明年實(shí)現(xiàn)價(jià)值超過 10 億美元的出貨量。這遠(yuǎn)遠(yuǎn)超過了 GPU 或網(wǎng)絡(luò)芯片業(yè)務(wù)的增長(zhǎng)率。而且，這些策略是經(jīng)過深思熟慮的，例如目前，在英偉達(dá)系統(tǒng)上通過可靠的 RDMA/RoCE 實(shí)現(xiàn) 3.2T 網(wǎng)絡(luò)的唯一方法是使用英偉達(dá)的 NIC。這主要是因?yàn)橛⑻貭?、AMD、博通缺乏競(jìng)爭(zhēng)力，仍然停留在200G。在 SemiAnalysis 看來，英偉達(dá)正在趁機(jī)管理其供應(yīng)鏈，使其 400G InfiniBand NIC 的交貨時(shí)間明顯低于 400G 以太網(wǎng) NIC。請(qǐng)記住，兩個(gè) NIC（ConnectX-7）的芯片和電路板設(shè)計(jì)是相同的。這主要取決于英偉達(dá)的 SKU 配置，而不是實(shí)際的供應(yīng)鏈瓶頸。這迫使公司購買英偉達(dá)更昂貴的 InfiniBand 交換機(jī)，而不是使用標(biāo)準(zhǔn)以太網(wǎng)交換機(jī)。當(dāng)您購買具有 NIC 模式 Bluefield-3 DPU 的 Spectrum-X 以太網(wǎng)網(wǎng)絡(luò)時(shí)，英偉達(dá)會(huì)破例。事情還不止于此，看看供應(yīng)鏈對(duì) L40 和 L40S GPU 的瘋狂程度就知道了。SemiAnalysis 透露，為了讓那些原始設(shè)備制造商贏得更多的 H100 分配，英偉達(dá)正在推動(dòng) L40S的銷售，這些 OEM 也面臨著購買更多 L40S 的壓力，進(jìn)而獲得更好的 H100 分配。這與英偉達(dá)在 PC 領(lǐng)域玩的游戲相同，筆記本電腦制造商和 AIB 合作伙伴必須購買大量的 G106/G107（中端和低端 GPU），才能為更稀缺、利潤(rùn)率更高的 G102/G104 獲得良好的分配（高端和旗艦 GPU）。臺(tái)灣供應(yīng)鏈中的許多人都被認(rèn)為 L40S 比 A100 更好，因?yàn)樗?FLOPS 更高。需要明確的是，這些 GPU 不適合 LLM 推理，因?yàn)樗鼈兊膬?nèi)存帶寬不到 A100 的一半，而且沒有 NVLink。這意味著除了非常小的模型之外，以良好的總體擁有成本在它們上運(yùn)行 LLM 幾乎是不可能的。高批量大?。℉igh batch sizes）具有不可接受的令牌/秒/用戶（tokens/second/user），使得理論上的 FLOPS 在實(shí)踐中對(duì)于 LLM 毫無用處。SemiAnalysis 說，OEM 廠商也面臨著支持英偉達(dá)的 MGX 模塊化服務(wù)器設(shè)計(jì)平臺(tái)的壓力。這有效地消除了設(shè)計(jì)服務(wù)器的所有艱苦工作，但同時(shí)也使其商品化，創(chuàng)造了更多競(jìng)爭(zhēng)并壓低了 OEM 的利潤(rùn)。戴爾、HPE 和聯(lián)想等公司顯然對(duì) MGX 持抵制態(tài)度，但臺(tái)灣的低成本公司，如超微、廣達(dá)、華碩、技嘉、和碩和華擎，正在急于填補(bǔ)這一空白，并將低成本“企業(yè)人工智能”商品化。當(dāng)然，這些參與 L40S 和 MGX 游戲的 OEM/ODM 也獲得了英偉達(dá)主線 GPU 產(chǎn)品更好的分配。雖然英偉達(dá)正在面臨著芯片廠商和系統(tǒng)廠商自研芯片的夾擊。但這些布局，似乎短期內(nèi)都能讓英偉達(dá)高枕無憂。他們依然會(huì)是AI時(shí)代最成功的“賣鏟人”。參考鏈接：https://www.servethehome.com/nvidia-data-center-roadmap-with-gx200nvl-gx200-x100-and-x40-ai-chips-in-2025https://www.semianalysis.com/p/nvidias-plans-to-crush-competition
*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。
加入技術(shù)交流群
