Imagination GPU為邊緣智能提供高效率的加速

作為奕斯偉計(jì)算的重要合作伙伴，Imagination 公司受邀出席了9月10日在北京亦莊舉辦的“2024奕斯偉計(jì)算開發(fā)者伙伴大會(huì)”，來自Imagination英國(guó)總部的專家在大會(huì)上發(fā)表了主題為《用RISC-V CPU + PowerVR GPU迎接邊緣生成式AI的到來》的演講。

在人工智能（AI）浪潮中成立的奕斯偉計(jì)算一直致力于研究和開發(fā)創(chuàng)新的計(jì)算架構(gòu)，并通過與Imagination這樣的全球領(lǐng)先處理器技術(shù)和IP產(chǎn)品提供商合作，針對(duì)多模態(tài)AI大模型技術(shù)帶動(dòng)多元化人工智能應(yīng)用加速涌現(xiàn)的新需求，開發(fā)了面向邊緣智能和AI PC等多種應(yīng)用場(chǎng)景的EIC77系列芯片。這些AI SoC芯片利用了RISC-V計(jì)算架構(gòu)開放、靈活、精簡(jiǎn)、可拓展的優(yōu)勢(shì)，結(jié)合了該公司自研的NPU以及Imagination的GPU，成為了全球首批可商用的基于RISC-V的高性能、低功耗的邊緣側(cè)、端側(cè)AI推理芯片。

大會(huì)中，Imagination公司專家介紹了與奕斯偉計(jì)算的合作成果：作為奕斯偉計(jì)算向全球發(fā)布的EIC77 系列邊緣智能SoC中的一款產(chǎn)品，全新的EIC7700X 器件基于 12nm 工藝，采用了 Imagination 的 IMG A 系列 GPU IP；該 GPU 擁有 128 寬 ALU 單元和專用 AI 處理通道，可提供 0.25 TFLOPS、1 TOPS 和 8 Gpixels 的性能。EIC7700X也搭載了奕斯偉自研的NPU單元，可提供19.95 TOPS INT8、9.975 TOPS INT16、 9.975 FTOPS FP16 算力。EIC7700X為邊緣智能提供了強(qiáng)勁的計(jì)算和圖形處理能力，可支持大語(yǔ)言模型，其在深度神經(jīng)網(wǎng)絡(luò)（DNN）推理上的算力高達(dá)13.3TOPS INT8，可滿足分類、檢測(cè)、分割、追蹤等各類需求。

談到邊緣計(jì)算的應(yīng)用多元化與架構(gòu)創(chuàng)新，Imagination公司專家表示：首先，我們需要確保邊緣計(jì)算架構(gòu)能夠進(jìn)行有效的、可持續(xù)的擴(kuò)展，在系統(tǒng)資源、電能和帶寬等資源稀缺，以及不同應(yīng)用場(chǎng)景對(duì)資源需求各不相同的情況下，這一點(diǎn)在邊緣計(jì)算領(lǐng)域更為重要。因此，靈活通用的異構(gòu)計(jì)算架構(gòu)才能確保我們的邊緣智能解決方案不會(huì)因?yàn)樗槠鵁o(wú)法實(shí)現(xiàn)，這要求我們擁有的模型也將是通用的、可持續(xù)的，同時(shí)才能保障邊緣系統(tǒng)中內(nèi)計(jì)算核的數(shù)量可以合理地縮減以滿足功耗要求。

為了確保足夠的通用性以運(yùn)行目前的工作負(fù)載和未來的工作負(fù)載，就需要對(duì)邊緣智能SoC中計(jì)劃采用的處理器性能和需求進(jìn)行充分的評(píng)估，大家往往首先看的是兩個(gè)潛在的選擇。一個(gè)選擇可以是 NPU或者在Imagination的產(chǎn)品組合中被稱為AI，這類硬件的每瓦最高性能非常出色，但為了達(dá)到更高的性能，使用NPU就需要犧牲一些靈活性。第二種選擇是 GPU，其優(yōu)點(diǎn)是可以提供可編程的、可擴(kuò)展的硬件加速能力，并可根據(jù)應(yīng)用方向上的需求來選擇相應(yīng)的GPU去支持所需渲染和計(jì)算能力。

雖然這兩種器件類型各有優(yōu)勢(shì)，邊緣智能最終需要的是能夠完美適用于應(yīng)用的、在高性能和可擴(kuò)展性，定制化和通用化中做出最明智決策的系列解決方案。從我們已有的實(shí)踐和Richard Sutton的《苦澀的教訓(xùn)》中大家可以看到，人們?cè)谶吘壢斯ぶ悄苤邢Ｍ軌蚶猛ㄓ玫挠布蛙浖鉀Q方案，盡量避免使用特定的解決方案，因?yàn)槿斯ぶ悄芤恢痹诎l(fā)展，所有的解決方案都要確保與時(shí)俱進(jìn)。

在確定了要用更加通用的硬件和軟件來推動(dòng)基礎(chǔ)模型的開發(fā)和應(yīng)用這一方向之后，越來越多的計(jì)算技術(shù)正在加速諸如EIC77這樣的邊緣智能芯片走向更廣泛的應(yīng)用：一方面，RISC-V正在向機(jī)器學(xué)習(xí)的核心領(lǐng)域進(jìn)發(fā)，不僅是更多RISC-V CPU廠商在向此方向努力，而且RISC-V的相關(guān)標(biāo)準(zhǔn)也在進(jìn)一步完善，使RISC-V成為進(jìn)入AI領(lǐng)域的一條開銷最低的途徑。另一方面，邊緣人工智能軟件也在擺脫其他AI應(yīng)用受制于CUDA生態(tài)的局限，越來越多諸如OneAPI這樣的應(yīng)用程序接口可支持工作負(fù)載的開發(fā)和運(yùn)行，以及諸如UXL等行業(yè)組織也提供了將CUDA上的AI工作負(fù)載轉(zhuǎn)化為SYCL為在 GPU 或 CPU 上運(yùn)行的移植解決方案。

展望未來，Imagination將繼續(xù)支持奕斯偉計(jì)算倡導(dǎo)的RISC-V數(shù)字基礎(chǔ)設(shè)施（RISC-V Digital Infrastructure）生態(tài)，在GPU 被用于越來越多和越來越廣泛的工作負(fù)載，以及支持越來越多的基礎(chǔ)模型和算法的同時(shí)，與更多的合作伙伴在邊緣計(jì)算、AI PC和AI加速等領(lǐng)域中，共同打造更多高性能的智能產(chǎn)品。