Flex Logix推出高性能、高效率AI 邊緣推理芯片

Flex Logix 公司今天宣布其InferX X1 芯片可開始出貨。該芯片是AI邊緣系統(tǒng)領域迄今為止性能最高的芯片之一。InferX X1可對目標檢測與識別等各類神經(jīng)網(wǎng)絡模型進行加速，其應用范圍包括機器人、工業(yè)自動化、醫(yī)學成像、基因測序、銀行安全、零售分析、自動駕駛、航天工程等等。與目前業(yè)內領先的AI邊緣推理解決方案相比，InferX X1 在處理 YOLOv3 目標檢測識別模型時的性能提高了 30% ，在處理其他多個用戶模型時的性能提高了10倍。

相比于其他各類目標檢測與識別的神經(jīng)網(wǎng)絡模型，YOLOv3的準確率是比較高的。因此，許多機器人、銀行安全及零售分析領域的客戶都計劃在產(chǎn)品中使用 YOLOv3。還有一些客戶根據(jù)自己的應用需求，開發(fā)了一系列AI模型，希望可以在較低成本下獲得更高的吞吐量。Flex Logix 對這些客戶模型進行了基準測試?；鶞蕼y試的結果顯示，InferX X1 不僅可以完全滿足用戶在吞吐量方面的要求，并且價格更低。Flex Logix 將于近期開始向早期客戶出貨樣品芯片，并計劃于明年一季度向更廣大客戶群體提供樣品芯片。批量生產(chǎn)的芯片將于2021年下半年開始全面出貨。

InferX X1芯片面積為54mm²， 僅為1美分硬幣的1/5大小，更是遠遠小于其它同類產(chǎn)品。InferX X1 芯片的批量價格僅有目前行業(yè)領軍產(chǎn)品的1/10左右。這是高質量、高性能的AI推理產(chǎn)品第一次真正走向普羅大眾。原本昂貴的AI推理將不再遙不可及。

InferX X1 配套的軟件使其非常易于用戶使用。其中的InferX Compiler可以將TensorFlow Lite 或者 ONNX 的模型直接轉換為可以在InferX X1上運行的程序。

“對于已有邊緣推理系統(tǒng)的用戶來說，他們需要更高性價比的AI推理解決方案。只有這樣，他們才能真正將神經(jīng)網(wǎng)絡模型全面應用在其批量化產(chǎn)品中。InferX X1 恰好滿足了這類用戶的需求。相比于目前行業(yè)的領軍產(chǎn)品，InferX X1 可以為用戶帶來數(shù)十倍甚至上百倍的性價比提升?！?Flex Logix 的創(chuàng)始人CEO Geoff Tate 在受訪時這樣表示。

Gforce Marketing公司的首席營銷主任及SemiWiki雜志的撰稿人Mike Gianfagna先生認為：“Flex Logix此次推出的技術將為整個AI市場帶來革命性的變化。InferX X1將顯著拓寬現(xiàn)有的AI應用市場，將AI推理帶入更為廣闊的市場領域。其它推理解決方案在性價比方面目前很難與Flex Logix相匹敵。因此，這次發(fā)布的InferX X1將顛覆當前的AI市場格局。我們相信Flex Logix在未來會呈現(xiàn)指數(shù)級別的飛速成長?！?/p>

TIRIAS Research的首席分析官 Kevin Krewell表示：“TIRIAS Research相信，在數(shù)據(jù)中心內部和以外的各類應用場景中，針對機器學習模型的大規(guī)模部署才剛剛開始。我們是否可以在廣闊的工業(yè)領域中大規(guī)模布局AI推理應用的關鍵性因素就在于芯片解決方案的功耗和成本效率。我們相信，F(xiàn)lex Logix推出的 InferX X1加速器和PCIe板將帶給我們更高的能效比和性價比。”

基于多項Flex Logix 的專有技術，InferX X1 采用了一種全新的架構，可以在較小面積內實現(xiàn)較高的吞吐量。其中，F(xiàn)lex Logix 專利的 XFLX可編程互聯(lián)網(wǎng)絡架構，也被應用于嵌入式FPGA技術，并在過去數(shù)年中被國內外多家知名公司所使用。其中包括 Dialog半導體、波音、桑迪亞國家實驗室、以及大唐電信旗下的辰芯科技。除了 XFLX以外，InferX X1還用到了可重配置張量處理器。它由64個一維的張量處理器構成，可通過重新配置來高效地支持各種神經(jīng)網(wǎng)絡模型的運算。由于重配置的時間只有幾個微秒，所以神經(jīng)網(wǎng)絡模型的每一層都可以擁有經(jīng)過優(yōu)化的數(shù)據(jù)路徑。

InferX X1的批量生產(chǎn)芯片和配套軟件將于2021年第二季度開始全面出貨。用戶樣品及早期軟件工具則計劃于2021年第一季度開始對用戶進行供貨。目前，F(xiàn)lex Logix 可以向符合以下條件的先期用戶提供樣品芯片和軟件，并進行基準測試支持。這些條件包括：需要有現(xiàn)成的基于 TensorFlow Lite 或者 ONNX 的神經(jīng)網(wǎng)絡模型，并有可在2021年進行批量生產(chǎn)的產(chǎn)品項目。相關的具體技術指標及價格指引也都將對這些用戶提前提供。

具體技術指標

• 高達70% MAC 利用率，可使較小面積和較低成本處理高清圖像和較大模型。

• 一維張量處理器（1D TPU）即一維脈動陣列

o  64B 輸入張量
o  64 INT8 MACs
o  32 BF16 MACs
o  64Bx256B權重矩陣
o  一維脈動陣列每64個時鐘周期可完成4096次乘加運算。

• 每顆X1芯片中的可重配置張量處理器由64個一維張量處理器（1D TPU）組成

o  可以將多個TPU配置成串聯(lián)或者并聯(lián)結構，以實現(xiàn)多種不同的張量運算。這種靈活性可以很有效地支持不斷衍生的諸如3D卷積等新型運算，并保持較高性能。
o  可編程互聯(lián)網(wǎng)絡架構可以很好地解決SRAM與TPU間的數(shù)據(jù)通路的競爭問題，達到非常高的數(shù)據(jù)交互速度。

• eFPGA可編程邏輯可用于實現(xiàn)包括控制TPU運行的高性能狀態(tài)機，以及各種運算符的控制邏輯

• 神經(jīng)網(wǎng)絡模型中的每一層都可被專門進行重配置；每一次重配置只需要幾微秒的時間。

• 在處理當前層級的同時，下一層神經(jīng)網(wǎng)絡模型的配置及權重可在后臺從DRAM中被加載；這可以極大減少由DRAM帶寬限制所帶來的計算的停頓。

• Layer fusion功能可通過將一個以上的配置文件進行合并來降低DRAM延時。

• 僅使用較少的內存資源以降低成本：LPDDR4x DRAM, 總共14MB SRAM

• x4 PCIe Gen 3 or Gen 4 可提供芯片與主機間的高速通信。

• 在16nm制程下芯片面積為54 mm²

• 倒裝BGA封裝尺寸為21 x 21 mm