意法半導體：聚焦工業(yè)4.0以及先進邊緣人工智能

數字化轉型席卷全球，它推動企業(yè)提高生產效率、改善醫(yī)療服務質量，加強樓宇、公用設施和交通網絡的安全和能源管理。數字化的核心賦能技術包括云計算、數據分析、人工智能 (AI) 和物聯網 (IoT)。數字化一個重要的趨勢是把更多工作任務下沉到通常部署在物聯網邊緣的智能設備上，這對設備提出了響應更快、能效更高的要求。邊緣側的智能設備應用重點集中在幾個領域，比如工業(yè)及工廠自動化、泛智能家居應用，以及包括智能交通、智能電網等的智慧城市和基礎設施應用。不同領域會有不同的邊緣智能處理需求，意法半導體根據任務需求的區(qū)別可以為客戶提供MCU 和MPU 不同的解決方案，微處理器(MPU)系統通常更加復雜，處理性能、系統擴展性和數據安全性更高，而微控制器(MCU) 系統的優(yōu)勢是簡單和集成度高。

在技術演進過程中，AI逐漸成熟并被廣泛應用到各個領域， AI最終目的就是速度更快在大的數據模型里面迅速找到想要的答案，邊緣AI則是希望能夠更高效的在邊緣端實現部分數據庫搜索和算法以更快速獲取所需的答案。相比于現在爆火的大模型，邊緣AI的目的就是把大的數據模型經過不斷地細分，然后下沉到邊緣端來做運算，有幾十個或上千個邊緣端來完成一個大的任務。這種大的數據模型經過客戶不斷地細分，再分到某幾個點上時可以通過一個邊緣AI 來完成原來需要服務器才能完成的任務。舉例來說，原來一條產線上有多個機器視覺、目標識別的設備，通過一個大算力的X86或者幾個X86再加上一個GPU的平臺來把這個任務完成?，F在通過一些下沉的方式可以有十幾個、二十幾個邊緣 AI的小設備來分擔多個任務，比如專門識別缺陷或專門做目標分類的一些應用，而達到原來需要一個大服務器來完成的任務。在減少書傳輸過程的同時，實現了降低功耗、降低成本的目的。

ST把高性能的MPU里面集成了NPU的目的就是要將AI任務下沉或分解到本地的邊緣AI 上，這樣不僅AI部署的成本更低、應用更靈活、速度和整個系統集成方式更快，因為邊緣AI 的工作更單一所以效率會更高。邊緣嵌入式MPU中集成多個NPU處理單元將是未來嵌入式運算的趨勢。這種趨勢得益于異構計算架構能夠讓客戶的AI應用更靈活，比如在大的數據處理上可以通過一個高算力核來做，在實時性的信號采集和監(jiān)控上可以通過一個實時的MCU核來做，這種異構方式讓一顆 MPU可以同時滿足實時處理又帶來高算力能力。

意法半導體的新一代STM32MP2微處理器（MPU）將為構建這個不斷發(fā)展的數字世界的新一代設備提供動力。這些設備包括工業(yè)控制器和機器視覺系統、掃描儀、醫(yī)療可穿戴設備、數據聚合器、網關、智能家電以及工業(yè)和家庭機器人等。STM32MP2是意法半導體面向邊緣AI應用的重點產品，主要的應用方向包括了工業(yè)及工廠自動化、泛智能家居領域，智能網關、家居網關之類以及智慧城市系列的智慧交通、智慧基礎設施等等。STM32MP2系列產品內置一個1.35tops NPU來處理AI的算法，但是AI生態(tài)系統不僅僅可以跑在NPU上，也可以跑在CPU和GPU上面。STM32MP2 MPUs為要求苛刻且時間敏感的工作任務、人工智能推理和通信而專門設計，同時具有先進的網絡安全性。作為一款真正的異構處理引擎，在64 位Arm Cortex-A35 CPU主處理器之外還集成一顆Cortex-M33微控制器(MCU)，此外還配備了圖形處理器(GPU)、神經網絡處理器(NPU)和視頻處理器(VPU)。根據處理器的負載情況和應用需求，AI任務可以運行在CPU、GPU或NPU上，以實現最佳性能和能效，釋放應用潛力。在AI 執(zhí)行引擎方面，首選NPU執(zhí)行AI應用，如果算力需求更高，那么可以把CPU與CPU同時運用起來，提升邊緣側計算能力，識別速度會更快。STM32MP2能效很高，系統中無需設計主動散熱機制，從而帶來更小的尺寸、靜音運行、更高的可靠性和更低的功耗等優(yōu)勢。ST 微處理器與Yocto Linux的無縫集成簡化了的開發(fā)過程，降低了產品創(chuàng)新的難度。

那么在AI算力上，如何讓NPU、GPU、CPU同時加持AI或邊緣算力的算法，根據意法半導體不同的分布式采取的方式，可以讓任務部署到不同單元上面進行算力有效調配。在低功耗和功耗平衡上考慮，第一選擇1.35 TOPS的NPU單元，NPU在激活時會消耗功率，但它是為能效而設計的，消耗的功率明顯低于執(zhí)行相同AI模型的CPU。第二選擇Cortex-A35內核 這兩個就是出于功耗與性能平衡之間的選擇。在NPU上全速跑某一個算法, NPU可能會出現一些功率峰值，但SOC消耗的能量將比僅由CPU執(zhí)行任務時消耗的能量少得多。在NPU上跑好處之一是讓CPU完全可以空閑下來做其他任務，不做其他任務可以休眠。這種方式的整體功耗是偏低的。

邊緣側AI應用部署和云端略有不同，首先要有數據模型進行數據模擬訓練，意法半導體不僅支持工程師使用自己的數據模型，還可為開發(fā)者提供面向應用的優(yōu)化模型庫，用戶可以選擇其中的一個模型來建立邊緣AI計算的能力。為了服務MPU的邊緣側應用，意法半導體還提供離線編譯器支持桌面或云端的模型優(yōu)化、量化和轉換應用，確保用戶可以在本地主機完成相關任務操作。STM32 模型庫提供了4 類模型，第一類是運動姿勢估算，第二類是圖像分類，語義分割、物體檢測等等。

這里所有模型ST均免費提供給工程師來使用的，這些模型ST托管在GitHub上，客戶可以通過自己的任何一個應用抓取任何一個模型，訓練自己的代碼，驗證自己的應用和這個模型選擇是否適合你的AI邊緣應用。物聯網硬件安全是開發(fā)者在開發(fā)可信設備時追求的永恒目標。難點在于為MCU 嵌入式硬件帶來高安全性，實現MPU級別的處理性能，同時保證出色的成本效益，這三個標準在市場上通常無法同時滿足。在采用這些新的STM32H7 MCU后，設備廠商可以更快、更經濟地開發(fā)智能家電、智能樓宇控制器、工業(yè)自動化和個人醫(yī)療設備，滿足終端市場用戶日益增長的需求。具體用例包括增加更豐富多彩的圖形用戶界面，同時執(zhí)行多個不同的功能。這些設計往往需要用微處理器(MPU) 才能實現。

STM32H7R和STM32H7S兩款微控制器集成了其NeoChrom GPU圖形處理器，能夠實現MPU 級別的圖形用戶界面(GUI)，具有豐富的色彩，支持動畫播放和3D圖效。這兩款MCU 還集成了顯示控制器，能夠處理絢麗的高清彩色用戶界面，在過去，小小的微控制器很難勝任這個工作。運行圖形用戶界面僅占用大約10%的主CPU性能，因此，目標應用能夠提供媲美智能手機的用戶體驗，同時還能運行邊緣人工智能、通信和實時控制等要求苛刻的應用程序。不過，H7R 的GPU 是2.5D的，只能跑圖形顯示的東西，這個系列的AI只能跑在MCU的處理內核上。

（本文來源于《EEPW》2024.5）