閃迪提議HBF取代HBM，在邊緣實(shí)現(xiàn) AI

Sandisk Corp. 正在尋求 3D-NAND 閃存的創(chuàng)新，該公司聲稱該創(chuàng)新可以取代基于 DRAM 的 HBM（高帶寬內(nèi)存）用于 AI 推理應(yīng)用。

當(dāng) Sandisk 于 2025 年 2 月從數(shù)據(jù)存儲(chǔ)公司 Western Digital 分拆出來(lái)時(shí)，該公司表示，它打算在提供閃存產(chǎn)品的同時(shí)追求新興顛覆性內(nèi)存技術(shù)的開(kāi)發(fā)。在 2 月 11 日舉行的 Sandisk 投資者日上，即分拆前不久，即將上任的內(nèi)存技術(shù)高級(jí)副總裁 Alper Ilkbahar 介紹了高帶寬閃存以及他稱之為 3D 矩陣內(nèi)存的東西。

在同一場(chǎng)演講中，Ilkbahar 表示，通過(guò)優(yōu)化 NAND 閃存的帶寬，而不是芯片面積和成本，該公司提出了一種稱為高帶寬閃存 （HBF） 的架構(gòu)。

方法是將 NAND 內(nèi)存陣列劃分為多個(gè)微型陣列，并并行訪問(wèn)每個(gè)陣列。這些多個(gè)微型陣列可以使用鎧俠BICS 3D-NAND技術(shù)在垂直維度上堆疊。這已經(jīng)被用來(lái)生產(chǎn)16層的研發(fā)存儲(chǔ)器，其容量是HBM的8到16倍，價(jià)格類似，Ilkbahar說(shuō)。

“我們正在根據(jù)主要 AI 參與者的意見(jiàn)來(lái)開(kāi)發(fā)它，”Ilkbahar 告訴投資分析師聽(tīng)眾。他補(bǔ)充說(shuō)，HBF 有可能取代數(shù)據(jù)中心 GPU 中的 HBM，并將其用途擴(kuò)展到支持 AI 的智能手機(jī)和其他邊緣設(shè)備。

目前，一個(gè)典型的 AI-GPU 包括 2 個(gè) GPU 邏輯芯片和 8 個(gè) HBM。即將推出的 AI-GPU 使用這 8 個(gè) HBM 來(lái)提供 192GB 的 DRAM。Ilkbahar 說(shuō)，使用 HBF 可以為組件提供 4TB 的非易失性內(nèi)存。

Ilkbahar 說(shuō)，像 GPT4 這樣要求苛刻的現(xiàn)代 LLM 有 1.8 萬(wàn)億個(gè)參數(shù)，使用 16 位權(quán)重，需要 3.6TB?！斑@意味著整個(gè)模型可以放在單個(gè) GPU 上，避免大量數(shù)據(jù)移動(dòng)，”他觀察到。這種效率對(duì)于即將推出將文本與音頻和視頻相結(jié)合的多模態(tài)模型非常重要。

由于內(nèi)存、性能和功耗限制，智能手機(jī)上的 AI 一直專注于減小 LLM 大小，但結(jié)果并不令人滿意。Ilkbahar 說(shuō)，這推遲了邊緣 AI 的發(fā)展。但是，更高級(jí)的 LLM，或者基于專家混合模型的 LLM，可能具有 640 億個(gè)參數(shù)，具有 8 位權(quán)重，需要 64GB 的內(nèi)存。“單個(gè) HBF 芯片可以包含該模型，”Ilkbahar 說(shuō)。

Ilkbahar 承認(rèn) HBF 不能直接替代 HBM，但表示 Sandisk 已決定以最少的協(xié)議更改驅(qū)動(dòng)基于相同電氣接口的開(kāi)放標(biāo)準(zhǔn)接口。為此，Sandisk 正在組建一個(gè)由行業(yè)杰出人士和合作伙伴公司代表組成的技術(shù)顧問(wèn)委員會(huì)。

Ilkbahar 沒(méi)有透露合作伙伴的姓名，也沒(méi)有提供引入 HBF 的時(shí)間表。他確實(shí)展示了一個(gè)路線圖，顯示與第一代 HBF 相比，容量和讀取帶寬翻了一番，能效提高了 36%。