高速運算平臺內(nèi)存爭霸 AI應用推升內(nèi)存需求

在不同AI運算領域中，依照市場等級的需要，大致上可以分成三種，一種是作為高性能運算中心的人工智能、機器學習與圖形處理的超高速運算與傳輸需求；一種是一般企業(yè)的AI服務器、一般計算機與筆電的演算應用；另一種是一般消費電子如手機、特殊應用裝置或其它邊緣運算的應用。
現(xiàn)階段三種等級的應用，所搭配的內(nèi)存也會有所不同，等級越高內(nèi)存的性能要求越高，業(yè)者要進入的門坎也越高。不過因為各類AI應用的市場需求龐大，各種內(nèi)存的競爭也異常的激烈，不斷地開發(fā)更新產(chǎn)品，降低成本，企圖向上向下擴大應用，所以只有隨時保持容量、速度與可靠度的優(yōu)勢才是王道。本文就以這三種等級現(xiàn)在最熱門的內(nèi)存發(fā)展來做說明。


AI高性能運算中心等級內(nèi)存
搭配這種AI芯片的內(nèi)存，毫無懸念就屬HBM獨占鰲頭了。市占率達95%的Nvidia AI芯片都是以HBM系列內(nèi)存來搭配，最新的H200 GPU以H100為基礎，將原本80GB的HBM3內(nèi)存升級為141GB的HBM3e。而競爭對手AMD同等級的MI350 AI芯片也采用HBM3e新型高帶寬內(nèi)存。緊追在后的Intel Gaudi 3 AI芯片當然也是使用HBM系列的HBM2e內(nèi)存。HBM系列內(nèi)存早已供不應求了。
HBM內(nèi)存采用了3D堆棧技術和通過硅穿孔（TSV, Through-Silicon Vias）連接技術來堆棧多層芯片，這使得數(shù)據(jù)傳輸距離短，速度快，功耗低。這種堆棧方式和垂直連接的設計是HBM的核心技術特點。使用硅基材料并通過精密的微加工技術制造這些穿孔，以實現(xiàn)層與層之間的密集連接。


 
圖一 : NVIDIA﹑AMD﹑Intel已上市的AI加速器產(chǎn)品及其搭配的內(nèi)存一覽

顯然目前所有AI加速器都采用HBM記憶體系列，而未來將制定的DDR6和DDR7內(nèi)存是否有機會跨入此一市場？雖然DDR6等是傳統(tǒng)的動態(tài)隨機存取內(nèi)存（DRAM）技術的進一步演進，專為提升系統(tǒng)內(nèi)存帶寬和效率而設計。它們未來還是主要用于個人計算機、服務器和一些嵌入式系統(tǒng)中，預計DDR6的數(shù)據(jù)傳輸速率可達到12.8 Gbps，而DDR7可能會更高，但這些仍主要在應付PC提升到AI PC后，對于高容量、高速度內(nèi)存的需求。

目前市場上提供HBM技術的主要廠商包括：
SK海力士（SK Hynix）：提供HBM1、HBM2、HBM2E與HBM3產(chǎn)品。
三星電子（Samsung Electronics）：同樣涵蓋從HBM1到HBM3的產(chǎn)品線。
美光科技（Micron Technology）：較晚進入HBM市場，但也開始提供HBM2產(chǎn)品，并參與未來更高規(guī)格的研發(fā)。


AI PC與服務器等級的內(nèi)存
一般計算機、筆電、服務器、游戲主機升級為各類AI應用后，所需要的內(nèi)存容量與帶寬速率也都要擴增，AI PC和游戲機等級的AI芯片與內(nèi)存的需求主要集中在高處理能力、高帶寬、低延遲和大容量上。這些設備通常用于需求密集型的任務，如游戲渲染、機器學習、深度學習訓練及推理等。這類應用需要強大的計算能力和快速的數(shù)據(jù)存取能力。
高帶寬和低延遲的內(nèi)存可以支持密集型的圖形和AI計算，所需的內(nèi)存必須具有高帶寬來處理大量數(shù)據(jù)流。低延遲確保了快速響應，這對于實時游戲性能、虛擬現(xiàn)實、擴增實境和AI應用至關重要。大容量內(nèi)存為了因應游戲和AI應用越來越復雜，需要更多的內(nèi)存來存儲更詳細的資產(chǎn)和機器學習模型。
目前此一等級AI應用的內(nèi)存仍以DDR4為主，未來配合AI應用軟件與操作系統(tǒng)的更新，更高容量與速度的DDR5乃至于DDR6就會因應而成為主流內(nèi)存了。至于介于AI PC與終端、邊緣運算裝置之間的平板計算機，則是以低功耗的LPDDR系列為主，會在下一個等級的應用里再做詳細說明。


 
圖二 : 主要的AI PC制造商及其使用的內(nèi)存和處理器規(guī)格

消費性電子與邊緣運算等級的內(nèi)存
目前平板計算機的規(guī)格功能已經(jīng)與筆電差不多了，而筆電、平板計算機，乃至于手機的設計都是以輕薄短小容易攜帶為主，所以都是低功耗的LPDDR為主，但為了未來AI應用的需求，更省電與效率更高的新形態(tài)內(nèi)存也會陸續(xù)推出，LPDDR5、LPDDR6都是可以期待的應用系列，因為這些都是符合容量、速度加倍與大量生產(chǎn)的需求。

一般筆電、平板與手機都可以視為一種AI助手的應用來發(fā)展，主要智能化需要自身做邊緣運算與大量數(shù)據(jù)傳輸?shù)捻椖坑邢铝袔追N，而這些都需要高容量、高帶寬、高可靠性與低延遲的內(nèi)存來支撐：
1.相機增強：許多智能手機使用AI來改進圖像質量，包括場景識別、光線調整、人像模式等。這些功能需要AI算法實時分析和處理圖像數(shù)據(jù)，需要快速且大容量的內(nèi)存。
2.語音助手：如Google Assistant和Siri，這些AI助手需要實時處理語音指令并作出響應，這對內(nèi)存的響應速度和處理能力提出了高要求。
3.實時翻譯：現(xiàn)代智能手機能夠實時翻譯外語對話或文字，這需要快速存取內(nèi)存來處理語音和文字數(shù)據(jù)，并實時顯示翻譯結果。
4.增強現(xiàn)實：AR應用程序利用AI來分析用戶的環(huán)境并以此來迭加數(shù)字信息。這種應用需要海量存儲器以存儲復雜的3D模型和圖像，同時保持快速的數(shù)據(jù)處理速度。

這些應用顯示了AI技術如何推動智能筆電、平板與手機的內(nèi)存技術創(chuàng)新，以滿足高效能和多功能的需求。
至于嵌入式或其它邊緣運算裝置，需要在電池供電或低能源消耗的環(huán)境下運作，所以它們的內(nèi)存設計必須更優(yōu)化來降低功耗。除了上面LPDDR系列可供選擇外，他們通常需要在更狹窄的空間來應用，所以為了減省空間與綜合處理，高容量、高帶寬的非揮發(fā)性的內(nèi)存也是未來的趨勢與選擇，下面是可應用發(fā)展的方向：

1.磁阻隨機存取內(nèi)存（MRAM）：MRAM是一種相對較新的技術，結合了DRAM的速度和閃存的非揮發(fā)性特點。它特別適合于需要快速訪問速度和數(shù)據(jù)持久性的嵌入式應用。

2.鐵電隨機存取內(nèi)存（FeRAM）：FeRAM也是一種非揮發(fā)性內(nèi)存，提供快速讀寫能力和高耐久性。這使得它適合于需要頻繁讀寫操作且數(shù)據(jù)保持很重要的應用。

這兩種內(nèi)存類型在設計時需要考慮到裝置的具體應用，例如處理能力、功耗限制和環(huán)境因素。其中MRAM在容量與帶寬都在持續(xù)發(fā)展與突破當中，被一般業(yè)界所看好的一種未來內(nèi)存?？傊x擇合適的內(nèi)存技術可以顯著提高嵌入式系統(tǒng)和邊緣運算裝置的性能和可靠性。


 
圖三 : 恩智浦半導體(NXP)攜手臺積電，推出業(yè)界首款采用16奈米 FinFET技術的車用嵌入式磁阻式隨機存取內(nèi)存（MRAM）。（source：NXP）

嵌入式系統(tǒng)與邊緣運算的智能化應用在未來擁有廣大且創(chuàng)新的市場，在跨領域的專業(yè)用途上，內(nèi)存產(chǎn)業(yè)也會隨之擴大市場應用，當在某一個領域達到一定規(guī)模之后，專門特殊規(guī)格的內(nèi)存也可能因應而生，以下就是一些應用案例：
1.智能攝像頭：在安全監(jiān)控或智能家居系統(tǒng)中，邊緣裝置需要實時分析視頻數(shù)據(jù)來進行物體識別或異常行為檢測，這要求內(nèi)存能夠快速處理和存儲大量數(shù)據(jù)。
2.無人駕駛汽車：在自動駕駛系統(tǒng)中，嵌入式裝置需實時處理來自雷達、攝像頭和其他傳感器的數(shù)據(jù)，以實現(xiàn)對周圍環(huán)境的快速反應。這類應用對內(nèi)存的速度和可靠性要求非常高。
3.可穿戴設備：如智能手表或健康監(jiān)測設備，它們需要在極小的空間內(nèi)儲存和處理數(shù)據(jù)，同時保持低功耗以延長電池壽命。
4.工業(yè)自動化：在工廠自動化中，邊緣計算設備可用于實時監(jiān)控生產(chǎn)線，識別潛在的機械故障或優(yōu)化生產(chǎn)流程，這些裝置通常需要在惡劣環(huán)境下運作，且內(nèi)存需具備高可靠性。

這些應用案例顯示，隨著AI技術的進步和應用范圍的擴大，嵌入式和邊緣運算裝置的內(nèi)存技術也在不斷進化以滿足新的需求。


結語
AI運算平臺可分為三種等級，而其搭配的內(nèi)存效能也有所差別，主要就是為了滿足運算的需求，以及特殊領域的專門用途。但AI內(nèi)存應用有其一致性的原則，為了不同等級開發(fā)的內(nèi)存，也都可能向下或向上發(fā)展來擴充其市場應用，同時運算系統(tǒng)也不斷在更新發(fā)展，不同種類的內(nèi)存、不同世代的內(nèi)存，也都可以交互使用。例如第一代的HBM，轉而給一般服務器PC來使用，以增強其機器學習的應用。但若意圖以同一種類的內(nèi)存來供應所有市場的需求，這也是不可能辦到的事，預料未來內(nèi)存仍將持續(xù)地百花齊放。