HBM：高帶寬內(nèi)存吸引各大科技巨頭搶購(gòu)的“魔力”到底是什么？

全球第二大存儲(chǔ)芯片巨頭SK海力士昨天公布了最新財(cái)報(bào)，截至6月當(dāng)季銷(xiāo)售額約合57億美元，較上年同期下降47%，超過(guò)了6.05萬(wàn)億韓元的平均預(yù)期，相比一季度創(chuàng)紀(jì)錄的虧損有所收窄。

由于各大企業(yè)對(duì)布局AI領(lǐng)域的興趣激增，同時(shí)，SK海力士在用于生成式AI領(lǐng)域的高帶寬存儲(chǔ)器（HBM）DRAM方面處于市場(chǎng)領(lǐng)先地位，其二季度用于AI領(lǐng)域的高性能DRAM銷(xiāo)售增長(zhǎng)強(qiáng)勁，對(duì)高端DRAM的需求增長(zhǎng)了一倍多。

繼英偉達(dá)之后，全球多個(gè)科技巨頭都在競(jìng)購(gòu)SK海力士的第五代高帶寬內(nèi)存HBM3，包括AMD、微軟和亞馬遜等等。SK海力士首席財(cái)務(wù)官Kim Woohyun透露，將繼續(xù)擴(kuò)大其高端存儲(chǔ)芯片的產(chǎn)量，以滿足人工智能驅(qū)動(dòng)的需求。

新一代DRAM解決方案

當(dāng)代電子計(jì)算體系的表現(xiàn)完全依賴于處理器和內(nèi)存的相互配合，而來(lái)到了AI時(shí)代，大模型處理數(shù)據(jù)的吞吐量更是呈指數(shù)級(jí)增長(zhǎng)，最新的GPT-4模型據(jù)說(shuō)有1.76萬(wàn)億參數(shù)量，要想支撐如此龐大的數(shù)據(jù)處理和傳輸，對(duì)內(nèi)存就提出了更高的帶寬需求。

然而，存儲(chǔ)器和處理器并沒(méi)有同步發(fā)展，處理器的性能按照摩爾定律規(guī)劃的路線不斷飆升，對(duì)比內(nèi)存所使用的DRAM從工藝演進(jìn)中的獲益卻很少，性能提升速度遠(yuǎn)慢于處理器速度。據(jù)行業(yè)預(yù)計(jì)，處理器的峰值算力每?jī)赡暝鲩L(zhǎng)3.1倍，DRAM的帶寬每?jī)赡暝鲩L(zhǎng)1.4倍，相差1.7倍。

當(dāng)存儲(chǔ)器的性能跟不上處理器，對(duì)指令和數(shù)據(jù)搬運(yùn)（寫(xiě)入和讀出）的時(shí)間將是處理器運(yùn)算所消耗時(shí)間的幾十倍乃至幾百倍。數(shù)據(jù)交換通路窄以及其引發(fā)的高能耗，導(dǎo)致DRAM的性能成為制約計(jì)算機(jī)性能的一個(gè)重要瓶頸，即所謂的“內(nèi)存墻”。

HBM突破了內(nèi)存容量與帶寬瓶頸，打破了“內(nèi)存墻”對(duì)算力提升的桎梏，被視為新一代DRAM解決方案，是未來(lái)DRAM重要發(fā)展路徑。這種新型的內(nèi)存方案具備高帶寬、低功耗的特點(diǎn)，已逐漸在競(jìng)爭(zhēng)中脫穎而出，面對(duì)AI大模型這種動(dòng)不動(dòng)千億、萬(wàn)億的參數(shù)，服務(wù)器中負(fù)責(zé)計(jì)算的GPU幾乎必須搭載HBM。

什么是HBM

HBM（High Bandwidth Memory，高帶寬存儲(chǔ)器），與其他DRAM最大的差別就是擁有超高的帶寬，目前最新的HBM3的帶寬最高可以達(dá)到819GB/s。HBM為何能擁有如此大的帶寬？

那么就要從HBM的原始形態(tài)GDDR說(shuō)起，GDDR采用傳統(tǒng)的方法將標(biāo)準(zhǔn)PCB和測(cè)試的DRAMs與SoC連接在一起，是將DRAM芯片直接放置在PCB上并圍著處理器轉(zhuǎn)一圈的獨(dú)立封裝。因此會(huì)受到來(lái)自PCB面積的約束，互聯(lián)線長(zhǎng)/帶寬以及通訊延遲也會(huì)隨之增大。

相對(duì)于傳統(tǒng)內(nèi)存，HBM則是在硅中階層（Silicon Interposer）上堆疊起來(lái)并和GPU封裝在一起，這樣一來(lái)，面積一下子縮小了很多，并且HBM離GPU更近了，數(shù)據(jù)傳輸也就更快了。

HBM之所以可以做到這樣的布局，是因?yàn)椴捎昧?D堆疊技術(shù)，將DRAM裸片垂直疊放在一起，這相當(dāng)于在一樣的“占地面積”下能布置比過(guò)去多數(shù)倍的DRAM顆粒。這種堆疊方式不僅節(jié)約空間，而且能夠帶來(lái)更短的顆粒間距進(jìn)而縮短信號(hào)傳輸路徑及延遲，但HBM真正的難點(diǎn)在于這些顆粒的互聯(lián)問(wèn)題，直到有了TSV技術(shù)之后才得以解決。

硅通孔技術(shù)（Through Silicon Via, 簡(jiǎn)稱(chēng)“TSV”）將“每層樓”連接在一起，是連接硅晶圓兩面并與硅襯底和其他通孔絕緣的電互連結(jié)構(gòu)：在保證強(qiáng)度以及完整性的前提下在芯片（硅）上垂直穿孔，然后以這些孔為通路進(jìn)行布線并完成垂直互聯(lián)。貫通所有芯片層的柱狀通道傳輸信號(hào)、指令、電流，以增加吞吐量并克服單一封裝內(nèi)帶寬的限制。

憑借TSV技術(shù)，HBM大幅提高了容量和數(shù)據(jù)傳輸速率，與傳統(tǒng)內(nèi)存技術(shù)相比，HBM具有更高帶寬、更多I/O數(shù)量、更低功耗、更小尺寸，可應(yīng)用于高性能計(jì)算（HPC）、超級(jí)計(jì)算機(jī)、大型數(shù)據(jù)中心、AI、云計(jì)算等領(lǐng)域。隨著5G商用到來(lái)，存儲(chǔ)數(shù)據(jù)量激增，市場(chǎng)對(duì)于HBM的需求將有望大幅提升。

存儲(chǔ)巨頭爭(zhēng)霸HBM

在DRAM的整體頹勢(shì)之中，HBM卻在逆市增長(zhǎng)，自從去年ChatGPT出現(xiàn)以來(lái)，HBM作為AI服務(wù)器的“標(biāo)配”，更是開(kāi)始狠刷存在感。超高的帶寬讓HBM成為了高性能GPU的核心組件，目前，高端GPU市場(chǎng)被英偉達(dá)和AMD瓜分，最新的H100和MI300X都配備了目前最新的HBM3。

預(yù)測(cè)到2031年，全球高帶寬存儲(chǔ)器市場(chǎng)預(yù)計(jì)將從2022年的2.93億美元增長(zhǎng)到34.34億美元，在2023-2031年的預(yù)測(cè)期內(nèi)復(fù)合年增長(zhǎng)率為31.3%。當(dāng)前HBM市場(chǎng)呈現(xiàn)三足鼎立格局，TrendForce研究顯示，2022年三大原廠HBM市占率分別為SK海力士占50%、三星約40%、美光約占10%。

SK海力士

SK海力士早在2021年10月就發(fā)布了全球首款HBM3，并于2022年6月正式量產(chǎn)，是目前唯一能量產(chǎn)HBM3產(chǎn)品的供應(yīng)商。

SK海力士HBM技術(shù)起步早，從2013年與AMD聯(lián)合開(kāi)發(fā)了全球首款HBM后，第一個(gè)站上HBM的跑道后就一直是HBM行業(yè)的領(lǐng)頭羊，得益于自主研發(fā)的MR-MUF（Mass Reflow Molded Underfill）技術(shù)，目前占據(jù)全球HBM市場(chǎng)一半以上的市場(chǎng)份額。

2023年4月，SK海力士宣布已在全球首次實(shí)現(xiàn)垂直堆疊12層硅通孔技術(shù)垂直堆疊的芯片，實(shí)現(xiàn)最高容量24GB，容量較上一代HBM3 DRAM提升50%，還搭載了ECC校檢（On Die-ErrorCorrection Code），可以自動(dòng)更正DRAM單元（cell）傳輸數(shù)據(jù)的錯(cuò)誤，從而提升了產(chǎn)品的可靠性。

此外，SK海力士預(yù)計(jì)在今年年底前供應(yīng)HBM3E樣品，并在2024年開(kāi)始量產(chǎn)，將下一代產(chǎn)品HBM4的生產(chǎn)目標(biāo)時(shí)間定在了2026年。

三星

三星跳過(guò)HBM1，于2016年首次量產(chǎn)HBM2產(chǎn)品，同一年發(fā)布了4GB和8GB的HBM2 DRAM；2020年2月，三星正式宣布推出其16GB HBM2E產(chǎn)品“Flashbolt”。

2021年三星宣布了一項(xiàng)新的突破，面向AI人工智能市場(chǎng)首次推出了HBM-PIM技術(shù)，在存儲(chǔ)芯片上集成了計(jì)算功能而不是CPU、內(nèi)存數(shù)據(jù)分離，實(shí)現(xiàn)了原HBM2兩倍的性能，同時(shí)功耗還降低了70%。預(yù)計(jì)2024年實(shí)現(xiàn)接口速度高達(dá)7.2Gbps的HBM3P，2025年在新一代面向AI的GPU中見(jiàn)到HBM3P的應(yīng)用。

美光

美光最開(kāi)始是和英特爾一起開(kāi)發(fā)HMC（混合內(nèi)存）技術(shù)，雖然也使用了TSV，但是和HBM完全不同，也不兼容。直到2018年美光才正式放棄HMC，開(kāi)始追趕HBM，于2020年7月宣布大規(guī)模量產(chǎn)HBM2E，HBM3也仍作為其產(chǎn)品線在持續(xù)研發(fā)之中，預(yù)計(jì)將于2024年初開(kāi)始量產(chǎn)。

HBM的下游也在持續(xù)發(fā)力，英偉達(dá)歷代主流訓(xùn)練芯片基本都配置HBM；英特爾Sapphire Rapids發(fā)布全球首款配備HBM的X86 CPU；AMD也在持續(xù)更新HBM產(chǎn)品線。

同時(shí)值得一提的是，由于HBM主要和GPU搭載使用，封裝主要以TSV 3D封裝進(jìn)行，所以通常在晶圓廠內(nèi)完成，當(dāng)前臺(tái)積電、格芯等也在發(fā)力HBM技術(shù)的研究與制造。

臺(tái)積電宣布與博通合作強(qiáng)化CoWoS平臺(tái)，該平臺(tái)技術(shù)常用于HBM的整合封裝，新一代CoWoS技術(shù)能夠容納多個(gè)邏輯系統(tǒng)單芯片以及多個(gè)HBM。業(yè)內(nèi)消息稱(chēng)臺(tái)積電將量產(chǎn)其第六代CoWoS技術(shù)，可在單個(gè)封裝內(nèi)集成12顆HBM。

格芯與SiFive也宣布共同開(kāi)發(fā)基于12LP/12LP+ FinFET工藝的HBM2E。據(jù)介紹，SiFive基于格芯12LP平臺(tái)和12LP+解決方案的可定制HBM接口將實(shí)現(xiàn)高帶寬存儲(chǔ)輕松集成到單個(gè)片上系統(tǒng)（SoC）解決方案中。

存儲(chǔ)巨頭相繼入局、上下游廠商發(fā)力，HBM受到越來(lái)越多的關(guān)注與青睞，有人甚至認(rèn)為HBM未來(lái)將取代DDR。

VR和AR是HBM未來(lái)將主要發(fā)力的領(lǐng)域。因?yàn)閂R和AR系統(tǒng)需要高分辨率的顯示器，這些顯示器需要更多的帶寬來(lái)在GPU和內(nèi)存之間傳輸數(shù)據(jù)。而且，VR和AR也需要實(shí)時(shí)處理大量數(shù)據(jù)，這都需要HBM的超強(qiáng)帶寬來(lái)助力。蘋(píng)果最新推出的頭顯設(shè)備Vision Pro也傳出內(nèi)置了SK海力士專(zhuān)門(mén)設(shè)計(jì)的高帶寬DRAM來(lái)提升圖像數(shù)據(jù)的處理效率。

此外，智能手機(jī)、平板電腦、游戲機(jī)和可穿戴設(shè)備的需求在不斷增長(zhǎng)，這些設(shè)備需要更先進(jìn)的內(nèi)存解決方案來(lái)支持其不斷增長(zhǎng)的計(jì)算需求，HBM也有望在這些領(lǐng)域得到增長(zhǎng)。并且，5G和物聯(lián)網(wǎng)（IoT）等新技術(shù)的出現(xiàn)也進(jìn)一步推動(dòng)了對(duì)HBM的需求。

在自動(dòng)駕駛方面，智能汽車(chē)和車(chē)路協(xié)同場(chǎng)景都涉及大量的數(shù)據(jù)傳輸，HBM的帶寬優(yōu)勢(shì)能夠發(fā)揮作用，但是由于成本問(wèn)題，HBM3距離“上車(chē)”還有些時(shí)日。

目前而言，DDR仍為DRAM市場(chǎng)主流產(chǎn)品，與龐大的DRAM市場(chǎng)比起來(lái)，HBM市場(chǎng)占比較低，大約只占整個(gè)DRAM市場(chǎng)的1.5%?，F(xiàn)在HBM還是主要應(yīng)用于服務(wù)器、數(shù)據(jù)中心等領(lǐng)域，消費(fèi)領(lǐng)域?qū)Τ杀颈容^敏感，因此HBM的使用較少。亦仍有待進(jìn)一步提升技術(shù)、降低成本，HBM未來(lái)或?qū)⒋笥兴鶠椤?/strong>

新技術(shù)革新的難點(diǎn)

目前困擾HBM的問(wèn)題之一是成本，3D堆疊成本高昂。因?yàn)橛幸粋€(gè)邏輯芯片位于芯片堆疊的底部，這是必須支付的額外硅片，然后是硅中介層，最后還需要一個(gè)更大的封裝等等，這是需要付出昂貴代價(jià)的。

同時(shí)，由于HBM采用復(fù)雜的TSV封裝工藝，其生產(chǎn)良率較低，產(chǎn)品開(kāi)發(fā)周期較長(zhǎng)，生產(chǎn)成本也較高。并且如果組成垂直結(jié)構(gòu)的一部分完全失效，則必須丟棄整個(gè)結(jié)構(gòu)，這會(huì)使通過(guò)TSV互連的系統(tǒng)制造起來(lái)更加昂貴。目前存在的HBM脫離了消費(fèi)者領(lǐng)域，相比之下GDDR6等圖形內(nèi)存雖然無(wú)法提供與HBM一樣多的性能，但成本卻顯著降低。

另外，芯片在某些溫度條件下達(dá)到其時(shí)鐘速度，如果附近有另一個(gè)也會(huì)發(fā)熱的芯片會(huì)受到影響。大量DRAM堆疊和GPU封裝在一起產(chǎn)生大量的熱，如何散熱也是HBM極大的挑戰(zhàn)。

雖然HBM的高帶寬小體積是優(yōu)點(diǎn)，但是其堆疊工藝導(dǎo)致它缺乏靈活性，導(dǎo)致難以擴(kuò)容且訪問(wèn)延遲高。HBM由于互聯(lián)寬度超寬，這就決定了HBM的傳輸頻率不能太高，否則總功耗和發(fā)熱撐不住，所以延遲高（延遲指從讀取指令發(fā)出，到數(shù)據(jù)準(zhǔn)備就緒的過(guò)程，中間的一個(gè)等待時(shí)間）。

目前來(lái)說(shuō)，CPU+DRAM技術(shù)較為成熟，成本相對(duì)較低，在多數(shù)對(duì)性能沒(méi)有極端需求的場(chǎng)合具有更好的性價(jià)比，而GPU+HBM的組合則更多用于對(duì)算力要求特別高的應(yīng)用領(lǐng)域。從2D走向3D，集成度更高、能耗效率更高的HBM是未來(lái)趨勢(shì)，隨著TSV工藝和HBM設(shè)計(jì)的不斷成熟，HBM自身的性價(jià)比也會(huì)有所提升，將會(huì)逐漸占據(jù)更多的市場(chǎng)。