Krste Asanovic：RISC-V AI 從向量到矩陣的架構(gòu)選擇與挑戰(zhàn)

7月18日，第五屆RISC-V中國峰會在上海進(jìn)入分論壇環(huán)節(jié)。作為未來電子產(chǎn)業(yè)最龐大的應(yīng)用范疇之一，人工智能是不可回避的話題。人工智能的飛速發(fā)展，正以年均超過100%的算力需求增長驅(qū)動底層架構(gòu)的革新，“開放、靈活、可定制”的RISC-V已成為構(gòu)建自主AI算力基石的戰(zhàn)略支點(diǎn)。 

人工智能分論壇邀請各方企業(yè)探討RISC-V架構(gòu)如何利用其開源、開放、可擴(kuò)展的特性，實(shí)現(xiàn)AI計算架構(gòu)的革新，以及RISC-V架構(gòu)在AI軟硬件的最新進(jìn)展和應(yīng)用落地情況。其中，SiFive聯(lián)合創(chuàng)始人、首席架構(gòu)師 Krste Asanovic現(xiàn)場分享了他對RISC-V AI指令擴(kuò)展的看法，他全面闡述了從向量到矩陣的架構(gòu)選擇與挑戰(zhàn)。 

在人工智能用例和人工智能模型中，共同的特點(diǎn)是需要對小型、專門的數(shù)據(jù)類型進(jìn)行大量計算。因此，人工智能中使用的數(shù)據(jù)類型往往很小，而且越來越小。但是現(xiàn)在從FP-32到FP16BF的進(jìn)程屬于在不斷擴(kuò)大。另外一個問題是需要大量的內(nèi)存來保存所有參數(shù)，這就是為什么要專注于減小每個單獨(dú)參數(shù)的大小，并找到巧妙的方法來管理縮放和避免量化問題?，F(xiàn)在，擁有如此大的內(nèi)存占用和需要進(jìn)行大量計算的組合意味著你需要大量的內(nèi)存帶寬來獲取所有這些參數(shù)，并在層之間傳送。 

RISC-V在AI中支持的是通用計算模型，這意味著要支持標(biāo)量、向量和現(xiàn)在的矩陣功能。有趣的是有時人工智能是其他應(yīng)用程序的技術(shù)組成部分。因此你需要一個能夠處理通用計算和人工智能計算的處理器。開發(fā)者經(jīng)常發(fā)現(xiàn)的是新型人工智能模型的發(fā)展非?？?，所以這些模型都可以在舊硬件上進(jìn)行得相當(dāng)好，得益于舊硬件具有通用的標(biāo)量向量矩陣功能，而新模型往往使用這些功能的不同組合。但是如果你的機(jī)器是通用的，并且可以支持所有這些，那么它可以很好地運(yùn)行新模型。另一件事是在同一代模型中不同的用例使用標(biāo)量、向量、矩陣功能的不同組合來處理該應(yīng)用程序所需的任何功能。因此風(fēng)險波的一個重要部分是向量擴(kuò)展。RVV在幾年前批準(zhǔn)，它是一個非常強(qiáng)大的矢量擴(kuò)展。矢量對人工智能非常重要。盡管人們對矩陣計算給予了很多關(guān)注，但人工智能中有許多關(guān)鍵步驟是矩陣引擎無法完成的。你需要使用向量來進(jìn)行計算，RVV旨在支持多種數(shù)據(jù)類型。

    RISC-V矩陣擴(kuò)展是RISC-V去年最熱門的話題。原因是矩陣將關(guān)鍵組件相乘，以加快人工智能應(yīng)用程序的發(fā)展。它被用于從小到大的各種RISC-V應(yīng)用中。RISC-V內(nèi)核有許多形狀和尺寸，因此在矩陣乘法空間中嘗試不同選項(xiàng)的活動很多。好消息是與向量不同的矩陣乘法函數(shù)的數(shù)量要少得多。如果你在向量庫中察看，可能會有成千上萬的函數(shù)進(jìn)行向量運(yùn)算，但在矩陣懲罰庫中，可能有十個或數(shù)百個函數(shù)。我試著把所有東西從左到右放在一張幻燈片上，您可以看到這些不同矩陣引擎的復(fù)雜性。為了提高性能，你真的需要添加一些特殊的矩陣引擎，這由接下來的兩個選項(xiàng)表示，其中紅色框是添加的。在矩陣中進(jìn)行加法運(yùn)算和累加器會相乘。

    矢量矩陣方法：添加新的大矩陣?yán)奂悠鳡顟B(tài)以保持C，C狀態(tài)可能被劃分為一個或多個圖塊。使用RVV向量為Matmul提供源操作數(shù)A和不。外產(chǎn)品樣式矩陣乘以C，可能對較窄的輸入類型“fat”K>1的支持。支持C行/列移動到向量寄存器或夾在、存儲到內(nèi)存，矩陣引擎可以提供非常高的吞吐量，C累加器狀態(tài)位于算術(shù)單元附近。

    替代矩陣指令擴(kuò)展：

    批次點(diǎn)產(chǎn)品：無其他矩陣狀態(tài)。在較小的矢量長度下進(jìn)行小而有效的擴(kuò)大，也可以滿足一些DSP需求，但不能在較大的矢量長度上擴(kuò)展性能。

    向量中的矩陣：沒有額外的矩陣狀態(tài)，對于較長的矢量長度、允許比點(diǎn)積更大的吞吐量。

    向量矩陣：將矩陣狀態(tài)添加到已經(jīng)具有RVV的處理器中，維護(hù)矢量ISA的內(nèi)存模型。

    分離矩陣：無約束矩陣和向量設(shè)計，最大的設(shè)計空間和軟件工作，將需要最多的時間來融合。

    所有的行動，包括適量行動都將極大地利用我們的努力來支持這一點(diǎn)。因此我認(rèn)為這將需要最長的時間來收斂，但這是RISC-V目前為矩陣擴(kuò)系所遵循的四條軌道。第一個實(shí)際上是更像是一個向量擴(kuò)展，而一個主要的擴(kuò)展。所以你可以說有一個快速向量擴(kuò)展的三個矩陣擴(kuò)展，這就是現(xiàn)在的解決方案。在RISC-V Intermational我們必須標(biāo)準(zhǔn)化，就標(biāo)準(zhǔn)達(dá)成一致。我們還比較確保軟件社區(qū)知道要瞄準(zhǔn)什么。