基于i.MX 95 的AI攝像頭或AI工業(yè)電腦展示推理性能

智慧浪潮崛起：AI與邊緣計(jì)算的時(shí)代 正悄然深植于我們的日常生活之中，無(wú)論是火熱的 ChatGPT 與 DeepSeek 語(yǔ)言模型，亦或是 Meta 智能眼鏡，AI 技術(shù)已經(jīng)無(wú)形地影響著我們的生活。這股變革浪潮并未停歇，而是進(jìn)一步催生了更高效、更貼近現(xiàn)實(shí)需求的技術(shù)演進(jìn)。 

然而，隨著 AI 應(yīng)用場(chǎng)景的拓展，傳統(tǒng)云計(jì)算在實(shí)時(shí)性、隱私保護(hù)與帶寬等方面逐漸面臨瓶頸。特別是在自動(dòng)駕駛、智慧醫(yī)療、工業(yè)自動(dòng)化等高精度應(yīng)用中，毫秒級(jí)的延遲可能導(dǎo)致關(guān)鍵決策錯(cuò)誤。因此，邊緣計(jì)算(Edge Computing) 應(yīng)運(yùn)而生，它讓數(shù)據(jù)處理更接近來(lái)源端 實(shí)現(xiàn)更低延遲、更高安全性與更高效率的 AI計(jì)算模式。

這一轉(zhuǎn)變的核心驅(qū)動(dòng)力來(lái)自于 神經(jīng)運(yùn)算處理單元(Neural Processing Unit, NPU) 的發(fā)展，使小型化設(shè)備具備更強(qiáng)的計(jì)算能力，降低了數(shù)據(jù)傳輸?shù)难舆t與成本，同時(shí)提升了隱私安全性，使 AI 能夠在更多元的場(chǎng)景中落地。 

視覺(jué)AI的崛起：改變世界的關(guān)鍵應(yīng)用 從醫(yī)療診斷到自動(dòng)駕駛，視覺(jué)AI的應(yīng)用范圍愈加廣泛，并深刻改變著各大產(chǎn)業(yè)的運(yùn)作模式。

以下是AI在視覺(jué)領(lǐng)域的重要應(yīng)用：

• 智能監(jiān)控：智能監(jiān)控(Intelligent Surveillance)：通過(guò)實(shí)時(shí)目標(biāo)檢測(cè)、行為分析與入侵預(yù)警，強(qiáng)化城市安全與監(jiān)控系統(tǒng)。

• 智慧零售(Smart Retail)：通過(guò)顧客行為分析與智能貨架管理，提升購(gòu)物體驗(yàn)，優(yōu)化銷售策略。

• 醫(yī)療影像分析(Medical Image Analysis)：運(yùn)用AI協(xié)助醫(yī)生進(jìn)行疾病診斷，如腫瘤檢測(cè)與病變識(shí)別，提高醫(yī)療準(zhǔn)確性。

• 工業(yè)質(zhì)檢(Industrial Quality Inspection)：自動(dòng)化檢測(cè)產(chǎn)品瑕疵，提高制造業(yè)質(zhì)量管控與生產(chǎn)效率。

• 高級(jí)輔助駕駛系統(tǒng)(ADAS)：通過(guò)AI處理視覺(jué)信息，分析道路環(huán)境、行人及障礙物，提升行車安全與決策能力。

• 農(nóng)業(yè)監(jiān)測(cè)(Agricultural Monitoring)：通過(guò)AI視覺(jué)技術(shù)，農(nóng)民可以監(jiān)測(cè)作物健康狀況，檢測(cè)病蟲(chóng)害，優(yōu)化農(nóng)業(yè)管理，提高產(chǎn)量和品質(zhì)。

• 自走車(Autonomous Mobile Robots)：自走車?yán)肁I技術(shù)，通過(guò)傳感器和算法，自主導(dǎo)航并避開(kāi)障礙物，應(yīng)用于物流、巡檢等多種場(chǎng)景。

• 機(jī)械手臂(Robotic Arms)：在制造業(yè)中，機(jī)械手臂結(jié)合AI與視覺(jué)系統(tǒng)，能夠精確地執(zhí)行組裝、焊接等任務(wù)，提高生產(chǎn)效率和產(chǎn)品質(zhì)量。

• 自動(dòng)送餐系統(tǒng)(Automated Food Delivery Systems)：外賣平臺(tái)如 Uber Eats，正在美國(guó)多個(gè)城市部署由 Serve Robotics 開(kāi)發(fā)的送餐機(jī)器人，這些機(jī)器人配備 AI 技術(shù)，能自主導(dǎo)航至顧客所在地，提供高效的送餐服務(wù)。

• 無(wú)人機(jī)影像分析(Drone Image Analysis)：AI驅(qū)動(dòng)的視覺(jué)系統(tǒng)使無(wú)人機(jī)能夠進(jìn)行地形測(cè)繪、災(zāi)害評(píng)估和基礎(chǔ)設(shè)施檢查，提供高效的數(shù)據(jù)收集和分析。 

當(dāng) AI 與邊緣計(jì)算技術(shù)結(jié)合后，這些應(yīng)用將變得更高效、更可靠，也更貼近人們的實(shí)際需求。未來(lái)的世界，將是一個(gè)充滿智慧、無(wú)縫連接的數(shù)字時(shí)代，AI 不僅是技術(shù)，更是推動(dòng)產(chǎn)業(yè)變革與人類進(jìn)步的關(guān)鍵動(dòng)力。

圖1 i.MX95 EVM板應(yīng)用場(chǎng)景 

NXP 的 i.MX 95 應(yīng)用處理器系列以其強(qiáng)大的多核心架構(gòu)，為高性能和實(shí)時(shí)應(yīng)用提供了堅(jiān)實(shí)的基礎(chǔ)。該系列處理器配備六個(gè) Arm? Cortex-A55 核心、一個(gè) Arm Cortex-M7 核心，以及一個(gè) Arm Cortex-M33 核心，這種配置使系統(tǒng)能夠在應(yīng)用層面、系統(tǒng)層面和實(shí)時(shí)處理等多個(gè)領(lǐng)域?qū)崿F(xiàn)卓越的性能。 

為了進(jìn)一步提升 人工智能(AI) 應(yīng)用的效率，i.MX 95 系列整合了 NXP 的 eIQ? Neutron 神經(jīng)處理單元(Neural Processing Unit, NPU)，提供高達(dá) 2 TOPS (每秒萬(wàn)億次運(yùn)算) 的運(yùn)算能力。這使得推理計(jì)算的時(shí)間大幅縮短，例如，在運(yùn)行常見(jiàn)的物體檢測(cè)模型 YOLOv5 時(shí)，處理單張圖片僅需約 5 毫秒 (ms) 即可完成識(shí)別，展現(xiàn)了極高的運(yùn)算速度。 

此外，i.MX 95 系列還配備了先進(jìn)的 影像處理單元(Image Signal Processor, ISP)和 2D/3D 圖形處理器(Graph Processor Unit)，支持 4K 分辨率下每秒 60 幀的編解碼能力這些功能使得傳統(tǒng)的圖像縮放、格式轉(zhuǎn)換和視頻解碼等任務(wù)得以高效處理，確保圖像流的優(yōu)化。

圖2 i.MX 95 方塊圖示意圖圖文出處：NXP 官網(wǎng) 

i.MX 95 應(yīng)用處理器系列提供豐富的 I/O 接口，方便用戶連接各種周邊設(shè)備，滿足多樣化的應(yīng)用需求。其支持的接口包括：

• MIPI-CSI：支持多個(gè)攝像頭的連接 (最高支持 8 路)，適用于高分辨率圖像采集，滿足先進(jìn)的圖像處理和機(jī)器視覺(jué)應(yīng)用需求。

• 以太網(wǎng)接口：配備 1 個(gè) 10GbE 和 2 個(gè) Gb 以太網(wǎng)接口，支持時(shí)間敏感網(wǎng)絡(luò)(TSN)、音視頻橋接(AVB) 和 IEEE 1588 同步協(xié)議，確保高速且精確的數(shù)據(jù)傳輸，適用于工業(yè)自動(dòng)化和車載網(wǎng)絡(luò)等需要高可靠性和低延遲的應(yīng)用。

• USB 接口：提供 1 個(gè) USB 3.0 Type C 和 1 個(gè) USB 2.0 Type C 接口，支持高速數(shù)據(jù)傳輸和多種外接設(shè)備，提升系統(tǒng)的擴(kuò)展性和靈活性。

• CAN FD 接口：具備 5 個(gè) CAN FD 接口，適用于車輛和工業(yè)控制系統(tǒng)，提供可靠的通信能力，支持更高的數(shù)據(jù)速率和更高效的數(shù)據(jù)傳輸。

• 串行通信接口：支持 8 個(gè) UART、8 個(gè) I2C、8 個(gè) SPI 和 2 個(gè) I3C 接口，提供多樣化的通信選項(xiàng)，方便與各種傳感器、執(zhí)行器和其他外圍設(shè)備的連接。

• 模數(shù)轉(zhuǎn)換器（ADC）：包含 1 個(gè) 8 通道、12 位ADC，適用于精確的模擬信號(hào)測(cè)量，如傳感器數(shù)據(jù)采集和監(jiān)控應(yīng)用。

• FlexIO 接口：提供 2 個(gè) 32 引腳的 FlexIO 接口，可配置為 UART、SPI、I2C 和 I2S 等通信接口，增加系統(tǒng)設(shè)計(jì)的靈活性，滿足特定應(yīng)用需求。

• PCIe 接口：配備 2 個(gè) PCIe Gen 3 通道，支持高速數(shù)據(jù)傳輸和擴(kuò)展，適用于連接高性能外設(shè)，如高速存儲(chǔ)設(shè)備和網(wǎng)卡。

• MIPI-DSI 顯示接口：支持高達(dá) 350 MHz 的 MIPI-DSI，采用四通道配置，每個(gè)通道的數(shù)據(jù)傳輸速率為 2.5 Gbps，能夠?qū)崿F(xiàn) 4K 分辨率 (每秒 30 幀) 或 3840x1440 分辨率 (每秒 60 幀) 的顯示輸出，滿足高分辨率顯示需求。

• LVDS 顯示接口：支持最高 1080p@60fps 的 LVDS 傳輸，可配置為 2 組 4 通道或 1 組 8 通道，提供靈活的顯示接口選項(xiàng)，滿足不同的顯示應(yīng)用需求。 

本方案是基于 i.MX 95 的 AI 攝像頭或 AI 工業(yè)電腦來(lái)展示模塊推理性能，結(jié)合了多項(xiàng)核心技術(shù)，包括神經(jīng)處理單元(NPU)、圖形處理單元(GPU) 和圖像信號(hào)處理器(ISP)，使其在人工智能(AI)和圖像處理應(yīng)用中表現(xiàn)出色，

其中 實(shí)現(xiàn)多種 AI 功能，例如：

• 物體檢測(cè)(Object Detection)：識(shí)別并定位圖像中的各種物體。

• 肢體識(shí)別(Pose Estimation)：分析人體姿態(tài)，追蹤關(guān)鍵點(diǎn)位置。

• 物體分割(Object Segmentation)：將圖像中的物體從背景中分離出來(lái)。

• 工地安全帽檢測(cè)(Construction Helmet Detection)：確認(rèn)工人是否佩戴安全帽。

• 車輛檢測(cè)(Vehicle Detection)：識(shí)別并追蹤車輛。

• 口罩檢測(cè)(Mask Detection)：判斷人員是否佩戴口罩。

• 水果檢測(cè)(Fruit Detection)：識(shí)別不同種類的水果。

• 人體特征點(diǎn)檢測(cè)(Human Keypoint Detection)：定位人體關(guān)鍵點(diǎn)。

• 手部骨架檢測(cè)(Hand Skeleton Detection)：追蹤手部關(guān)節(jié)位置。

• 深度估計(jì)(Depth Estimation)：估計(jì)圖像中物體與相機(jī)之間的距離。

這些功能的實(shí)現(xiàn)得益于 i.MX 95 處理器的高性能，系統(tǒng)能夠以每秒 30 幀 (FPS) 的速度處理影像，且僅占用約一個(gè) CPU 核心的資源，大幅減輕了 CPU 的運(yùn)算負(fù)擔(dān)，滿足大多數(shù)邊緣計(jì)算應(yīng)用的需求。

圖3 i.MX 95 AI DEMO 示意圖  

NXP (恩智浦) 在推動(dòng) 人工智能(AI) 計(jì)算平臺(tái)方面展現(xiàn)了卓越的進(jìn)步。通過(guò) eIQ 能夠快速應(yīng)用 TensorFlow、TensorFlow Lite、ONNX、Keras 等深度學(xué)習(xí)框架。如同下圖所示，只需將影像、聲音等相應(yīng)的數(shù)據(jù)委托(Delegate) 給任意一個(gè)深度學(xué)習(xí)框架進(jìn)行推理，即可快速解析神經(jīng)網(wǎng)絡(luò)架構(gòu)以獲得結(jié)果。而該框架將通過(guò) Neutron Delegate 進(jìn)行優(yōu)化加速運(yùn)算處理。經(jīng)實(shí)際測(cè)試，YOLOv5s 目標(biāo)檢測(cè)，推理速度約可達(dá)到每秒 190 幀 (FPS)。

圖4 NXP I.MX95 EVK深度學(xué)習(xí)應(yīng)用示意圖

從 i.MX 8M Plus、i.MX 93 到最新的 i.MX 95 系列，性能提升顯著，特別是在物體檢測(cè)等常見(jiàn) AI 應(yīng)用中，運(yùn)算速度大幅提高。即使在物理規(guī)格相近的情況下 i.MX 95 的神經(jīng)處理單元(NPU)相比于 i.MX 8M Plus，運(yùn)算速度更快。提升了近四倍。

圖5 i.MX 95 AI 性能示意圖 

i.MX 95 系列處理器不僅具備強(qiáng)大的運(yùn)算能力，還提供豐富且多樣化的 I/O 接口配置。這使開(kāi)發(fā)者能夠靈活地連接各種外設(shè)，滿足不同應(yīng)用場(chǎng)景的需求，提供高度的設(shè)計(jì)自由度和擴(kuò)展性。實(shí)際應(yīng)用中，這些處理器展現(xiàn)了極大的靈活性，可廣泛應(yīng)用于物聯(lián)網(wǎng)(IoT)、工業(yè) 4.0、自動(dòng)駕駛等領(lǐng)域。充分實(shí)現(xiàn) 邊緣計(jì)算(Edge Computing) 的概念，創(chuàng)造更高的應(yīng)用價(jià)值。 

另外，NXP 為開(kāi)發(fā)者提供了強(qiáng)大的工具，助力他們?cè)诟鞣N創(chuàng)新應(yīng)用中實(shí)現(xiàn) AI 能力。

• eIQ? 工具包用于端到端模型開(kāi)發(fā)和部署

• eIQ?模型水印技術(shù)

• eIQ 示例

• eiq模型庫(kù)

• nxp-nnstreamer-示例

• GUI 指南

• 由WPI提供的AI演示

• WPI 提供的 ATU 模型庫(kù)

?場(chǎng)景應(yīng)用圖

?展示板照片

?方案方塊圖

?核心技術(shù)優(yōu)勢(shì)

◆ 搭配算力 2 TOPS 的 eIQ? Neutron 神經(jīng)處理器(Neural Processing Unit，NPU)，具備強(qiáng)大的機(jī)器學(xué)習(xí)推理能力。相比廣為人知的圖形處理器(Graphics Processing Unit，GPU)，更省電、效率更高，是專門(mén)為深度學(xué)習(xí)和人工智能設(shè)計(jì)的處理器！ ◆ 獨(dú)立 SOM 開(kāi)發(fā)板設(shè)計(jì)，并搭配強(qiáng)大的 NXP i.MX 95 芯片，可根據(jù)需求自由配置 I/O 接口，與 SOM 搭配使用。這種靈活性使開(kāi)發(fā)者能夠針對(duì)特定應(yīng)用場(chǎng)景設(shè)計(jì)符合需求的硬件平臺(tái)，充分發(fā)揮 i.MX 95 芯片的性能和功能。 ◆ 結(jié)合 I/O 開(kāi)發(fā)板能夠提供齊全的周邊配置。例如高清多媒體接口(HDMI)、低壓差分信號(hào)技術(shù)接口(LVDS)、以太網(wǎng)(Ethernet)、控制器局域網(wǎng)(CAN bus)、異步收發(fā)傳輸器(UART)、通用串行總線接口(USB Type A/C)、3.5 mm 耳機(jī)音頻接口、攝像頭數(shù)據(jù)傳輸接口(MIPI-CSI)、顯示數(shù)據(jù)傳輸接口(MIPI-DSI)、M.2 - PCIe 3.0 傳輸接口。 ◆ 可快速上手應(yīng)用 eIQ / PyeIQ 機(jī)器學(xué)習(xí)開(kāi)發(fā)環(huán)境，提供 TensorFlow、TensorFlow Lite、ONNX、Keras、Pytorch 等多種深度學(xué)習(xí)框架的應(yīng)用示例。

?方案規(guī)格

MPU (NXP i.MX95, MX95LPD5EVK-19CM) 核心規(guī)格： ◆ 強(qiáng)大的六核 Arm Cortex-A55 處理器，主頻高達(dá) 1.8 GHz ◆ eIQ? Neutron 神經(jīng)處理單元，性能高達(dá) 2 TOPS ◆ 雙圖像信號(hào)處理器(ISP)，支持 RGB-IR 格式 ◆ 兩個(gè) MIPI-CSI 攝像頭接口，用于視覺(jué)處理應(yīng)用 ◆ 強(qiáng)大的 3D/2D 圖形加速(Arm Mali-G310) ◆ 強(qiáng)大的視頻編碼器和解碼器，支持高達(dá) 4Kp60 幀率 (包括 JPEG、H.264 和 H.265) ◆ 高清顯示：MIPI-DSI 支持 4Kp30，LVDS 支持 1080p ◆ 內(nèi)置 eMMC 5.1，存儲(chǔ)容量為 64GB ◆ 支持外部?jī)?nèi)存，數(shù)據(jù)速率高達(dá) 6.4 GT/s，32 位接口，支持 LPDDR5/LPDDR4X MPU (NXP i.MX95, MX95LPD5EVK-19CM) I/O 規(guī)格： ◆ 1 個(gè) 10GbE + 2 個(gè) Gb 以太網(wǎng)，支持 TSN、AVB 和 IEEE 1588 同步 ◆ 1 個(gè)帶 PHY 的 USB 3.0 Type C + 1 個(gè)帶 PHY 的 USB 2.0 Type C ◆ 5 個(gè) CAN FD 接口 ◆ 8 個(gè) UART，8 個(gè) I2C，8 個(gè) SPI，2 個(gè) I3C ◆ 1 個(gè) 8 通道、12 位 ADC ◆ 2 個(gè) 32 針 FlexIO 接口 ◆ 2 個(gè) PCIe Gen 3 單通道接口