MCX N系列微處理器之NPU使用方法簡(jiǎn)介

MCX N系列是高性能、低功耗微控制器，配備智能外設(shè)和加速器，可提供多任務(wù)功能和高能效。部分MCX N系列產(chǎn)品包含恩智浦面向機(jī)器學(xué)習(xí)應(yīng)用的eIQ? Neutron神經(jīng)處理單元(NPU)。低功耗高速緩存增強(qiáng)了系統(tǒng)性能，雙塊Flash存儲(chǔ)器和帶ECC檢測(cè)的RAM支持系統(tǒng)功能安全，提供了額外的保護(hù)和保證。這些安全MCU包含恩智浦EdgeLock?安全區(qū)域Core Profile，根據(jù)設(shè)計(jì)安全方法構(gòu)建，提供具有不可變信任根和硬件加速加密的安全啟動(dòng)。

MCX N系列微型處理器：MCXN94xMCXN54x基于兩個(gè)高性能的Arm? Cortex?-M33核心構(gòu)建，核心運(yùn)行速度可達(dá)150 MHz。它配備了2MB的板載閃存（Flash），并可選擇配置完整的ECC（錯(cuò)誤校正碼）RAM，同時(shí)集成了一款專屬的神經(jīng)處理單元（eIQ Neutron NPU）。該NPU在機(jī)器學(xué)習(xí)（ML）任務(wù)處理速度上，比M33核心快出40倍，顯著減少了設(shè)備的喚醒時(shí)間，并有效降低了總體功耗。

eIQ Neutron NPUs能夠支援包括CNN（卷積神經(jīng)網(wǎng)絡(luò)）、RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）、TCN（時(shí)間卷積網(wǎng)絡(luò)）以及Transformer等多種類型的神經(jīng)網(wǎng)絡(luò)。利用eIQ Neutron NPU進(jìn)行機(jī)器學(xué)習(xí)應(yīng)用的開發(fā)，將得到eIQ機(jī)器學(xué)習(xí)軟件開發(fā)環(huán)境的全方位支持。eIQ Neutron NPU系統(tǒng)框圖如下所示：

NPU由計(jì)算單元，權(quán)重解碼器，量化器，優(yōu)化函數(shù)加速器，RAM以及DMA快速訪問(wèn)接口組成，其ML算力可達(dá)4.8G。強(qiáng)大的算力給ML推理帶來(lái)極大的加速，在TinyML Perf benchmark測(cè)試模型上的性能對(duì)比如下圖所示：

圖中表示NPU的性能提升倍數(shù)，綠色柱體代表M33，藍(lán)色柱體代表NPU基于M33的提升倍數(shù)。從圖中可以看到Anomaly Detect異常檢測(cè)模型NPU提供8倍的性能提升，Keyword spotting關(guān)鍵詞檢測(cè)模型NPU提供15倍的提升，Resnet圖像分類模型NPU提供38倍的性能提升，Visual Wake Word模型NPU提供28倍的性能提升。

對(duì)于不同類型的模型，NPU的加速效果略有不同。Resnet主要是由卷積網(wǎng)絡(luò)構(gòu)成，NPU的主要計(jì)算單元是乘累加計(jì)算器，并且通道間權(quán)重是共享的，所以NPU對(duì)卷積網(wǎng)絡(luò)性能提升是最大的，異常檢測(cè)模型主要由全連接網(wǎng)絡(luò)組成，全連接網(wǎng)絡(luò)的權(quán)重?zé)o法共享故而無(wú)法最大限度的利用NPU，所以全連接網(wǎng)絡(luò)的加速是最小的。

推理速度的提升必然會(huì)減少核心的運(yùn)行時(shí)間從而降低了整體的功耗，打開NPU會(huì)額外增加1.4mA（3.3V）的電流，相比運(yùn)算速度的提升，這個(gè)增量可以忽略不記。

從運(yùn)行時(shí)序圖上看，NPU使能后Core的大部分時(shí)間是在休眠狀態(tài)，如果不在NPU上推理模型，Core基本一直處于運(yùn)行狀態(tài)，NPU節(jié)能效果顯而易見(jiàn)。

（作者：Tony Zhang 來(lái)源：恩智浦MCU加油站）