你所需要知道的HBM技術

在2024年即將到來之際，多家機構給出預測，認定生成式AI將成為2024年的增長重點之一?；仡?023年，年初的ChatGPT引爆了今年的生成式AI熱潮，不僅僅是下游市場的AI應用，這股大火一直燒到了上游芯片領域，根據(jù)權威機構預測，2023年和2024年，AI服務器將有38%左右的增長空間。隨著GPU等AI芯片走向高峰的同時，也極大帶動了市場對新一代內(nèi)存芯片HBM（高帶寬內(nèi)存）的需求。

HBM是何方神圣？

首先，我們先來了解一下什么是HBM。HBM全稱為High Bandwich Memory，直接翻譯即是高帶寬內(nèi)存，是一款新型的CPU/GPU內(nèi)存芯片。其實就是將很多個DDR芯片堆疊在一起后和GPU封裝在一起，實現(xiàn)大容量、高位寬的DDR組合陣列。這么說可能有一些不明所以，簡單來講，如果說傳統(tǒng)的DDR內(nèi)存芯片是一層的平房結構，那么采用了HBM結構的內(nèi)存就是現(xiàn)代化的摩天大樓，占地面積不變的基礎上，向3維高度發(fā)展，從而可實現(xiàn)了更高的性能和帶寬。

我們以上圖中AMD專為AI訓練打造的旗艦GPU MI300X為例，彩色部分是GPU單元，而兩側就是AMD為其配備的8個HBM 3堆棧，每個堆棧為 12-Hi，同時集成了 16 Gb IC，每個 IC 為 2 GB 容量或每個堆棧 24 GB。

我們不難發(fā)現(xiàn)，隨著AI應用的越來越廣泛，HBM的相關應用也是越來越多，需求水漲船高，這篇文章就帶各位讀者介紹一下HBM相關知識，讓各位大致了解一下，為什么我們的AI需要HBM。

在文章開頭筆者就說明了簡單來講，HBM技術就是把傳統(tǒng)的DDR內(nèi)存從“平房”改成了“樓房”。從土木工程的角度來看，建一個樓房可要比建一個平房要困難很多，從底層地基到布線都需要重新設計。而同樣地，作為微觀結構上的“樓房”，想要實現(xiàn)將DDR蓋成樓房的HBM技術也是困難重重。

使得HBM技術得以實現(xiàn)的是基于TVS技術的3D封裝技術的成熟，對于封裝技術的闡述，各位讀者感興趣可以移步筆者之前寫過的另一篇文章：

從2D到3D：半導體封裝工藝與DTCO

本篇就不再過多贅述，在這篇文章中，筆者來簡單說明一下HBM中的TVS技術的應用。

首先，在這個由DRAM組成的微觀“大樓”中，DRAM被堆疊在一起，并且每個DRAM芯片之間使用TVS（Transient Voltage Suppressor）連接方式進行連接。在DRAM下方是DRAM邏輯控制單元，該單元負責對DRAM進行控制。GPU與DRAM之間通過uBump和Interposer（一種具有互聯(lián)功能的硅片）進行連接。Interposer再通過Bump與Substrate（封裝基板）連接，最終連接到BGA（球柵陣列）BALL上。最后，BGA BALL連接到PCB（印刷電路板）上。就如下圖所示：

得益于這種堆棧結構，HBM通過中介層實現(xiàn)緊湊而快速的連接，節(jié)省了94%的表面積，其具備的特性幾乎與芯片集成的RAM相同，可實現(xiàn)更多的IO數(shù)量。此外，HBM重新調(diào)整了內(nèi)存的功耗效率，使每瓦帶寬比GDDR5高出3倍以上，這意味著功耗降低了3倍以上。

為什么AI需要HBM？

為了回答這個問題，我們需要先認識到另一個現(xiàn)實：為什么GPU相比CPU更加適合AI訓練？

我們可以舉一個有趣的例子：

CPU是一個多才多藝的博士，但通常都是獨自工作或最多與幾個博士伙伴一起（多核心多線程）。有一天，操作系統(tǒng)帶來一個新任務，列出了一系列的簡單的百以內(nèi)加減乘除運算。CPU看到這個任務感到雖然簡單，但是自己一個人一道一道算，有些吃力。這時，顯卡找上門來，告訴CPU說：“CPU，我這里有幾百個只會做加減乘除的小學生（GPU核心），他們做得又快又準。你可以指揮他們來做，這樣會輕松很多。” CPU覺得這個主意不錯，于是顯卡就把那本冊子拿走了，并讓那幾百個孩子開始工作，任務很快就完成了。沒過多久，操作系統(tǒng)又來了，手里拿著一本新冊子。CPU一看，封面寫著“AI訓練”。他心里有些不安，不知道這次又是什么新挑戰(zhàn)。他打開冊子一看，還是那些加減乘除的運算。

從上述的這個小故事中，我們可以簡單總結一下GPU更適合訓練AI的主要原因，主要有這兩點：首先，GPU具備強大的并行計算能力，使其能夠同時處理多個任務，從而加速AI模型的訓練過程；其次，GPU的顯存相較于CPU的系統(tǒng)內(nèi)存在處理大規(guī)模數(shù)據(jù)時更為高效，這使得GPU能夠更有效地處理AI訓練所需的大量數(shù)據(jù)。

回答本節(jié)之中所提出的問題，為什么AI需要HBM技術呢？HBM可以為顯卡帶來更大的顯存容量和顯存?zhèn)鬏攷?，而一旦GPU擁有更高的內(nèi)存帶寬和更大的顯存容量，這就會使得它能夠更快地讀取和寫入數(shù)據(jù)，提高數(shù)據(jù)吞吐量。對于處理大規(guī)模數(shù)據(jù)的AI任務來說，這是非常重要的。因此HBM技術所帶來的顯存性能的顯著提升，對于顯卡完成AI任務來說十分重要。

不僅如此，在深度學習中，需要頻繁地訪問內(nèi)存進行數(shù)據(jù)傳輸。GPU通過HBM技術獲得得更高的內(nèi)存帶寬和更快的內(nèi)存訪問速度，就能夠更快地進行數(shù)據(jù)傳輸，提高計算效率。此外，HBM帶來的更大容量顯存也可以使得GPU在AI任務中能夠處理更大規(guī)模的數(shù)據(jù)集和模型，在如今生成式AI向著越來越大數(shù)據(jù)規(guī)模的方向發(fā)展之中，起到了重要的支持作用。

HBM技術的演進

在HBM技術的開發(fā)過程中，有兩個廠商功不可沒，它們就是AMD和海力士。一些信息表明，AMD在2009年就意識到DDR的局限性并產(chǎn)生開發(fā)堆疊內(nèi)存的想法，后來其與SK海力士聯(lián)手研發(fā)HBM。并于2013年，推出了首款HBM1技術的顯卡，即Radeon R9 290X。這款GPU采用了4顆HBM芯片，總容量為4GB，可以提供更高的顯存帶寬和更高的內(nèi)存容量，從而提高了GPU的性能和效率。不僅如此，這項全新技術，還被定為JESD235行業(yè)標準：HBM1的工作頻率約為1600 Mbps，漏極電源電壓為1.2V，芯片密度為2Gb（4-hi），具有4096bit的帶寬，遠超過了GDDR5的512bit。

可以說在當時，海力士認定了這才是未來的顯存，但是AMD卻在2016年發(fā)布完產(chǎn)品后完全轉向，近乎放棄了HBM。唯一仍然保留HBM技術的是用于AI計算的加速卡。因此，在第二代HBM技術問世的2016年，這個賽道中變成了海力士和新加入的三星之間的對決。

2016年1月，三星宣布開始量產(chǎn)4GB HBM2 DRAM，并在同一年內(nèi)生產(chǎn)8GB HBM2 DRAM；2017年下半年，被三星趕超的SK海力士開始量產(chǎn)HBM2；2018年1月，三星宣布開始量產(chǎn)第二代8GB HBM2"Aquabolt"；2019年8月，SK海力士宣布成功研發(fā)出新一代"HBM2E"；2020年2月，三星也正式宣布推出其16GB HBM2E產(chǎn)品"Flashbolt"，于2020年上半年開始量產(chǎn)；到了2022年，JEDEC組織正式發(fā)布了新一代高帶寬內(nèi)存HBM3的標準規(guī)范，這一新標準在存儲密度、帶寬、通道、可靠性、能效等各個層面都進行了擴充和升級。JEDEC表示，HBM3是一種創(chuàng)新的方法，是更高帶寬、更低功耗和單位面積容量的解決方案。對于那些需要處理大量數(shù)據(jù)和高數(shù)據(jù)速率的應用場景來說，HBM3十分重要，比如圖形處理和高性能計算的服務器。

從HBM1到HBM3，SK海力士和三星一直是HBM行業(yè)的領軍企業(yè)。而對于AMD來說，可謂是起了個大早，趕了個晚集。AMD既沒有憑借HBM在游戲顯卡市場中反殺英偉達，反而被英偉達利用HBM鞏固了AI計算領域的地位，煞是可惜。

HBM領域市場分析

    在本文開頭筆者就已經(jīng)提到，生成式AI的火熱同時也帶動了HBM領域的熱度，那就有必要在年末之時粗略向各位讀者分析一下目前以及未來HBM市場的競爭格局。

調(diào)研機構TrendForce集邦咨詢也指出，預估2023年全球HBM需求量將年增近六成，來到2.9億GB，2024年將再增長三成。2023年HBM將處于供不應求態(tài)勢，到2024年供需比有望改善。據(jù)其他權威機構預測，預計 2024 年隨著各原廠 積極擴產(chǎn)的效果顯現(xiàn)，HBM 供需比有望獲改善，預估將從 2023 年的-2.4%，轉為 0.6%。而從各產(chǎn)品的占比來看，2023 年主流 HBM 需求從 HBM2E 升級為 HBM3 甚至 HBM3E，HBM3 需求比重預估約為 39%，較 2022 年提升超 30%，并在 2024 年達到 60%，屆時份額比重也將超過 HBM2E。

目前，HBM的平均售價至少是DRAM的三倍，而由于ChatGPT的拉動和產(chǎn)能不足的限制，HBM的價格一路上漲，與性能最高的DRAM相比，HBM3的價格上漲了五倍。而在即將到來的2024年，可以預見的是高端AI服務器GPU搭載HBM芯片將成為主流，這進一步推動了HBM市場的增長。根據(jù)TrendForce的數(shù)據(jù)，2022年全球HBM容量約為1.8億GB，2023年增長約60%達到2.9億GB，2024年將再增長30%。如果以HBM每GB售價20美元進行測算，2022年全球HBM市場規(guī)模約為36.3億美元。預計到2026年，市場規(guī)模將達到127.4億美元，對應年復合增長率（CAGR）約為37%。

而其市場格局也將形成三足鼎力的形勢。海力士作為將HBM技術最早商業(yè)化的廠商將繼續(xù)領先，而三星將緊隨其后，2023年海力士和三 星的 HBM 份額占比約為 46-49%，而美光的份額將下降至 4%-6%，并在 2024 年進 一步壓縮至 3%-5%。

在這三家爭霸的局勢之中，美光科技由于起步較晚，在2022年僅僅占據(jù)了HBM市場份額的10%，而未來還有繼續(xù)下降的趨勢。最近的美光科技財報電話會議數(shù)據(jù)顯示，美光的DRAM業(yè)績明顯不如SK海力士和三星。美光2024財年的資本支出預計將比2023財年略有增長，不過WFE支出將再次同比下降。

在美光2023年第四季度的DRAM收入顯示，美光的DRAM收入增長率僅為3%，明顯低于競爭對手。而考慮到采用了HBM技術的DRAM價格約為普通DRAM的7倍，而美光的DRAM業(yè)務僅僅微漲了3%。在業(yè)內(nèi)，美光是首家拿出HBM3e樣品的公司，其性能和能效在業(yè)內(nèi)均處于行業(yè)領先地位。其技術能力于其他在HBM領域的競爭對手相比并不落下風。因此筆者認為，美光的HBM產(chǎn)品在客戶接受度上，還有很高的提升空間。

未來進入2024年，有權威機構分析表示：美光科技在HBM方面將繼續(xù)面臨逆風。SK海力士是全球唯一一家大規(guī)模生產(chǎn)HBM3的公司，并為英偉達獨家供應H100 Tensor Core GPU。美光公司也表示自己將要推出的HBM3 Gen2產(chǎn)品將有更好的性能，其預計引腳速度將超過9.2GB/s。但是隨著海力士與英偉達強強聯(lián)合之下，這對于美光來說，2024年的HBM領域也是面臨嚴峻挑戰(zhàn)的一年。

但是面對逆境挑戰(zhàn)，美光CEO Mehrotra樂觀表示：“這就是創(chuàng)建人工智能軟件的計算機所需要的超快訪問芯片類型。AI給我們所帶來的高營收、高利潤機會才剛剛開始?！?/p>

而HBM技術在國內(nèi)發(fā)展，整體上并不樂觀，目前HBM相關產(chǎn)業(yè)鏈布局相對較小，只有一些企業(yè)涉及封測領域。在國內(nèi)涉及HBM產(chǎn)業(yè)鏈的公司主要包括雅克科技、中微公司、和拓荊科技等公司。其中，雅克的子公司UP Chemical是SK海力士的核心供應商，為其提供HBM前驅體。

在更遠的未來，預計AI的浪潮還將繼續(xù)愈演愈烈，而HBM今后的存在感或許會越來越強。據(jù)semiconductor-digest預測，到2031年，全球高帶寬存儲器市場預計將從2022年的2.93億美元增長到34.34億美元，在2023-2031年的預測期內(nèi)復合年增長率為31.3%。筆者相信，HBM技術將在很長一段時間中都會是AI硬件領域的重要技術，隨著越來越多的廠商入局HBM，HBM一定會受到持續(xù)的關注和更快的發(fā)展。