基于i.MX 95 的AI攝像頭或AI工業(yè)電腦展示推理性能
智慧浪潮崛起:AI與邊緣計(jì)算的時(shí)代 正悄然深植于我們的日常生活之中,無(wú)論是火熱的 ChatGPT 與 DeepSeek 語(yǔ)言模型,亦或是 Meta 智能眼鏡,AI 技術(shù)已經(jīng)無(wú)形地影響著我們的生活。這股變革浪潮并未停歇,而是進(jìn)一步催生了更高效、更貼近現(xiàn)實(shí)需求的技術(shù)演進(jìn)。
本文引用地址:http://2s4d.com/article/202503/468122.htm然而,隨著 AI 應(yīng)用場(chǎng)景的拓展,傳統(tǒng)云計(jì)算在實(shí)時(shí)性、隱私保護(hù)與帶寬等方面逐漸面臨瓶頸。特別是在自動(dòng)駕駛、智慧醫(yī)療、工業(yè)自動(dòng)化等高精度應(yīng)用中,毫秒級(jí)的延遲可能導(dǎo)致關(guān)鍵決策錯(cuò)誤。因此,邊緣計(jì)算(Edge Computing) 應(yīng)運(yùn)而生,它讓數(shù)據(jù)處理更接近來(lái)源端 實(shí)現(xiàn)更低延遲、更高安全性與更高效率的 AI計(jì)算模式。
這一轉(zhuǎn)變的核心驅(qū)動(dòng)力來(lái)自于 神經(jīng)運(yùn)算處理單元(Neural Processing Unit, NPU) 的發(fā)展,使小型化設(shè)備具備更強(qiáng)的計(jì)算能力,降低了數(shù)據(jù)傳輸?shù)难舆t與成本,同時(shí)提升了隱私安全性,使 AI 能夠在更多元的場(chǎng)景中落地。
視覺(jué)AI的崛起:改變世界的關(guān)鍵應(yīng)用 從醫(yī)療診斷到自動(dòng)駕駛,視覺(jué)AI的應(yīng)用范圍愈加廣泛,并深刻改變著各大產(chǎn)業(yè)的運(yùn)作模式。
以下是AI在視覺(jué)領(lǐng)域的重要應(yīng)用:
智能監(jiān)控:智能監(jiān)控(Intelligent Surveillance):通過(guò)實(shí)時(shí)目標(biāo)檢測(cè)、行為分析與入侵預(yù)警,強(qiáng)化城市安全與監(jiān)控系統(tǒng)。
智慧零售(Smart Retail):通過(guò)顧客行為分析與智能貨架管理,提升購(gòu)物體驗(yàn),優(yōu)化銷售策略。
醫(yī)療影像分析(Medical Image Analysis):運(yùn)用AI協(xié)助醫(yī)生進(jìn)行疾病診斷,如腫瘤檢測(cè)與病變識(shí)別,提高醫(yī)療準(zhǔn)確性。
工業(yè)質(zhì)檢(Industrial Quality Inspection):自動(dòng)化檢測(cè)產(chǎn)品瑕疵,提高制造業(yè)質(zhì)量管控與生產(chǎn)效率。
高級(jí)輔助駕駛系統(tǒng)(ADAS):通過(guò)AI處理視覺(jué)信息,分析道路環(huán)境、行人及障礙物,提升行車安全與決策能力。
農(nóng)業(yè)監(jiān)測(cè)(Agricultural Monitoring):通過(guò)AI視覺(jué)技術(shù),農(nóng)民可以監(jiān)測(cè)作物健康狀況,檢測(cè)病蟲(chóng)害,優(yōu)化農(nóng)業(yè)管理,提高產(chǎn)量和品質(zhì)。
自走車(Autonomous Mobile Robots):自走車?yán)肁I技術(shù),通過(guò)傳感器和算法,自主導(dǎo)航并避開(kāi)障礙物,應(yīng)用于物流、巡檢等多種場(chǎng)景。
機(jī)械手臂(Robotic Arms):在制造業(yè)中,機(jī)械手臂結(jié)合AI與視覺(jué)系統(tǒng),能夠精確地執(zhí)行組裝、焊接等任務(wù),提高生產(chǎn)效率和產(chǎn)品質(zhì)量。
自動(dòng)送餐系統(tǒng)(Automated Food Delivery Systems):外賣平臺(tái)如 Uber Eats,正在美國(guó)多個(gè)城市部署由 Serve Robotics 開(kāi)發(fā)的送餐機(jī)器人,這些機(jī)器人配備 AI 技術(shù),能自主導(dǎo)航至顧客所在地,提供高效的送餐服務(wù)。
無(wú)人機(jī)影像分析(Drone Image Analysis):AI驅(qū)動(dòng)的視覺(jué)系統(tǒng)使無(wú)人機(jī)能夠進(jìn)行地形測(cè)繪、災(zāi)害評(píng)估和基礎(chǔ)設(shè)施檢查,提供高效的數(shù)據(jù)收集和分析。
當(dāng) AI 與邊緣計(jì)算技術(shù)結(jié)合后,這些應(yīng)用將變得更高效、更可靠,也更貼近人們的實(shí)際需求。未來(lái)的世界,將是一個(gè)充滿智慧、無(wú)縫連接的數(shù)字時(shí)代,AI 不僅是技術(shù),更是推動(dòng)產(chǎn)業(yè)變革與人類進(jìn)步的關(guān)鍵動(dòng)力。
圖1 i.MX95 EVM板應(yīng)用場(chǎng)景
NXP 的 i.MX 95 應(yīng)用處理器系列以其強(qiáng)大的多核心架構(gòu),為高性能和實(shí)時(shí)應(yīng)用提供了堅(jiān)實(shí)的基礎(chǔ)。該系列處理器配備六個(gè) Arm? Cortex-A55 核心、一個(gè) Arm Cortex-M7 核心,以及一個(gè) Arm Cortex-M33 核心,這種配置使系統(tǒng)能夠在應(yīng)用層面、系統(tǒng)層面和實(shí)時(shí)處理等多個(gè)領(lǐng)域?qū)崿F(xiàn)卓越的性能。
為了進(jìn)一步提升 人工智能(AI) 應(yīng)用的效率,i.MX 95 系列整合了 NXP 的 eIQ? Neutron 神經(jīng)處理單元(Neural Processing Unit, NPU),提供高達(dá) 2 TOPS (每秒萬(wàn)億次運(yùn)算) 的運(yùn)算能力。這使得推理計(jì)算的時(shí)間大幅縮短,例如,在運(yùn)行常見(jiàn)的物體檢測(cè)模型 YOLOv5 時(shí),處理單張圖片僅需約 5 毫秒 (ms) 即可完成識(shí)別,展現(xiàn)了極高的運(yùn)算速度。
此外,i.MX 95 系列還配備了先進(jìn)的 影像處理單元(Image Signal Processor, ISP)和 2D/3D 圖形處理器(Graph Processor Unit),支持 4K 分辨率下每秒 60 幀的編解碼能力這些功能使得傳統(tǒng)的圖像縮放、格式轉(zhuǎn)換和視頻解碼等任務(wù)得以高效處理,確保圖像流的優(yōu)化。
圖2 i.MX 95 方塊圖示意圖圖文出處:NXP 官網(wǎng)
i.MX 95 應(yīng)用處理器系列提供豐富的 I/O 接口,方便用戶連接各種周邊設(shè)備,滿足多樣化的應(yīng)用需求。其支持的接口包括:
MIPI-CSI:支持多個(gè)攝像頭的連接 (最高支持 8 路),適用于高分辨率圖像采集,滿足先進(jìn)的圖像處理和機(jī)器視覺(jué)應(yīng)用需求。
以太網(wǎng)接口:配備 1 個(gè) 10GbE 和 2 個(gè) Gb 以太網(wǎng)接口,支持時(shí)間敏感網(wǎng)絡(luò)(TSN)、音視頻橋接(AVB) 和 IEEE 1588 同步協(xié)議,確保高速且精確的數(shù)據(jù)傳輸,適用于工業(yè)自動(dòng)化和車載網(wǎng)絡(luò)等需要高可靠性和低延遲的應(yīng)用。
USB 接口:提供 1 個(gè) USB 3.0 Type C 和 1 個(gè) USB 2.0 Type C 接口,支持高速數(shù)據(jù)傳輸和多種外接設(shè)備,提升系統(tǒng)的擴(kuò)展性和靈活性。
CAN FD 接口:具備 5 個(gè) CAN FD 接口,適用于車輛和工業(yè)控制系統(tǒng),提供可靠的通信能力,支持更高的數(shù)據(jù)速率和更高效的數(shù)據(jù)傳輸。
串行通信接口:支持 8 個(gè) UART、8 個(gè) I2C、8 個(gè) SPI 和 2 個(gè) I3C 接口,提供多樣化的通信選項(xiàng),方便與各種傳感器、執(zhí)行器和其他外圍設(shè)備的連接。
模數(shù)轉(zhuǎn)換器(ADC):包含 1 個(gè) 8 通道、12 位ADC,適用于精確的模擬信號(hào)測(cè)量,如傳感器數(shù)據(jù)采集和監(jiān)控應(yīng)用。
FlexIO 接口:提供 2 個(gè) 32 引腳的 FlexIO 接口,可配置為 UART、SPI、I2C 和 I2S 等通信接口,增加系統(tǒng)設(shè)計(jì)的靈活性,滿足特定應(yīng)用需求。
PCIe 接口:配備 2 個(gè) PCIe Gen 3 通道,支持高速數(shù)據(jù)傳輸和擴(kuò)展,適用于連接高性能外設(shè),如高速存儲(chǔ)設(shè)備和網(wǎng)卡。
MIPI-DSI 顯示接口:支持高達(dá) 350 MHz 的 MIPI-DSI,采用四通道配置,每個(gè)通道的數(shù)據(jù)傳輸速率為 2.5 Gbps,能夠?qū)崿F(xiàn) 4K 分辨率 (每秒 30 幀) 或 3840x1440 分辨率 (每秒 60 幀) 的顯示輸出,滿足高分辨率顯示需求。
LVDS 顯示接口:支持最高 1080p@60fps 的 LVDS 傳輸,可配置為 2 組 4 通道或 1 組 8 通道,提供靈活的顯示接口選項(xiàng),滿足不同的顯示應(yīng)用需求。
本方案是基于 i.MX 95 的 AI 攝像頭或 AI 工業(yè)電腦來(lái)展示模塊推理性能,結(jié)合了多項(xiàng)核心技術(shù),包括神經(jīng)處理單元(NPU)、圖形處理單元(GPU) 和圖像信號(hào)處理器(ISP),使其在人工智能(AI)和圖像處理應(yīng)用中表現(xiàn)出色,
其中 實(shí)現(xiàn)多種 AI 功能,例如:
物體檢測(cè)(Object Detection):識(shí)別并定位圖像中的各種物體。
肢體識(shí)別(Pose Estimation):分析人體姿態(tài),追蹤關(guān)鍵點(diǎn)位置。
物體分割(Object Segmentation):將圖像中的物體從背景中分離出來(lái)。
工地安全帽檢測(cè)(Construction Helmet Detection):確認(rèn)工人是否佩戴安全帽。
車輛檢測(cè)(Vehicle Detection):識(shí)別并追蹤車輛。
口罩檢測(cè)(Mask Detection):判斷人員是否佩戴口罩。
水果檢測(cè)(Fruit Detection):識(shí)別不同種類的水果。
人體特征點(diǎn)檢測(cè)(Human Keypoint Detection):定位人體關(guān)鍵點(diǎn)。
手部骨架檢測(cè)(Hand Skeleton Detection):追蹤手部關(guān)節(jié)位置。
深度估計(jì)(Depth Estimation):估計(jì)圖像中物體與相機(jī)之間的距離。
這些功能的實(shí)現(xiàn)得益于 i.MX 95 處理器的高性能,系統(tǒng)能夠以每秒 30 幀 (FPS) 的速度處理影像,且僅占用約一個(gè) CPU 核心的資源,大幅減輕了 CPU 的運(yùn)算負(fù)擔(dān),滿足大多數(shù)邊緣計(jì)算應(yīng)用的需求。
圖3 i.MX 95 AI DEMO 示意圖
NXP (恩智浦) 在推動(dòng) 人工智能(AI) 計(jì)算平臺(tái)方面展現(xiàn)了卓越的進(jìn)步。通過(guò) eIQ 能夠快速應(yīng)用 TensorFlow、TensorFlow Lite、ONNX、Keras 等深度學(xué)習(xí)框架。如同下圖所示,只需將影像、聲音等相應(yīng)的數(shù)據(jù)委托(Delegate) 給任意一個(gè)深度學(xué)習(xí)框架進(jìn)行推理,即可快速解析神經(jīng)網(wǎng)絡(luò)架構(gòu)以獲得結(jié)果。而該框架將通過(guò) Neutron Delegate 進(jìn)行優(yōu)化加速運(yùn)算處理。經(jīng)實(shí)際測(cè)試,YOLOv5s 目標(biāo)檢測(cè),推理速度約可達(dá)到每秒 190 幀 (FPS)。
圖4 NXP I.MX95 EVK深度學(xué)習(xí)應(yīng)用示意圖
從 i.MX 8M Plus、i.MX 93 到最新的 i.MX 95 系列,性能提升顯著,特別是在物體檢測(cè)等常見(jiàn) AI 應(yīng)用中,運(yùn)算速度大幅提高。即使在物理規(guī)格相近的情況下 i.MX 95 的神經(jīng)處理單元(NPU)相比于 i.MX 8M Plus,運(yùn)算速度更快。提升了近四倍。
圖5 i.MX 95 AI 性能示意圖
i.MX 95 系列處理器不僅具備強(qiáng)大的運(yùn)算能力,還提供豐富且多樣化的 I/O 接口配置。這使開(kāi)發(fā)者能夠靈活地連接各種外設(shè),滿足不同應(yīng)用場(chǎng)景的需求,提供高度的設(shè)計(jì)自由度和擴(kuò)展性。實(shí)際應(yīng)用中,這些處理器展現(xiàn)了極大的靈活性,可廣泛應(yīng)用于物聯(lián)網(wǎng)(IoT)、工業(yè) 4.0、自動(dòng)駕駛等領(lǐng)域。充分實(shí)現(xiàn) 邊緣計(jì)算(Edge Computing) 的概念,創(chuàng)造更高的應(yīng)用價(jià)值。
另外,NXP 為開(kāi)發(fā)者提供了強(qiáng)大的工具,助力他們?cè)诟鞣N創(chuàng)新應(yīng)用中實(shí)現(xiàn) AI 能力。
eIQ? 工具包用于端到端模型開(kāi)發(fā)和部署
eIQ?模型水印技術(shù)
eIQ 示例
eiq模型庫(kù)
nxp-nnstreamer-示例
GUI 指南
由WPI提供的AI演示
WPI 提供的 ATU 模型庫(kù)
?場(chǎng)景應(yīng)用圖
?展示板照片
?方案方塊圖
?核心技術(shù)優(yōu)勢(shì)
◆ 搭配算力 2 TOPS 的 eIQ? Neutron 神經(jīng)處理器(Neural Processing Unit,NPU),具備強(qiáng)大的機(jī)器學(xué)習(xí)推理能力。相比廣為人知的圖形處理器(Graphics Processing Unit,GPU),更省電、效率更高,是專門(mén)為深度學(xué)習(xí)和人工智能設(shè)計(jì)的處理器! ◆ 獨(dú)立 SOM 開(kāi)發(fā)板設(shè)計(jì),并搭配強(qiáng)大的 NXP i.MX 95 芯片,可根據(jù)需求自由配置 I/O 接口,與 SOM 搭配使用。這種靈活性使開(kāi)發(fā)者能夠針對(duì)特定應(yīng)用場(chǎng)景設(shè)計(jì)符合需求的硬件平臺(tái),充分發(fā)揮 i.MX 95 芯片的性能和功能。 ◆ 結(jié)合 I/O 開(kāi)發(fā)板能夠提供齊全的周邊配置。例如高清多媒體接口(HDMI)、低壓差分信號(hào)技術(shù)接口(LVDS)、以太網(wǎng)(Ethernet)、控制器局域網(wǎng)(CAN bus)、異步收發(fā)傳輸器(UART)、通用串行總線接口(USB Type A/C)、3.5 mm 耳機(jī)音頻接口、攝像頭數(shù)據(jù)傳輸接口(MIPI-CSI)、顯示數(shù)據(jù)傳輸接口(MIPI-DSI)、M.2 - PCIe 3.0 傳輸接口。 ◆ 可快速上手應(yīng)用 eIQ / PyeIQ 機(jī)器學(xué)習(xí)開(kāi)發(fā)環(huán)境,提供 TensorFlow、TensorFlow Lite、ONNX、Keras、Pytorch 等多種深度學(xué)習(xí)框架的應(yīng)用示例。
?方案規(guī)格
MPU (NXP i.MX95, MX95LPD5EVK-19CM) 核心規(guī)格: ◆ 強(qiáng)大的六核 Arm Cortex-A55 處理器,主頻高達(dá) 1.8 GHz ◆ eIQ? Neutron 神經(jīng)處理單元,性能高達(dá) 2 TOPS ◆ 雙圖像信號(hào)處理器(ISP),支持 RGB-IR 格式 ◆ 兩個(gè) MIPI-CSI 攝像頭接口,用于視覺(jué)處理應(yīng)用 ◆ 強(qiáng)大的 3D/2D 圖形加速(Arm Mali-G310) ◆ 強(qiáng)大的視頻編碼器和解碼器,支持高達(dá) 4Kp60 幀率 (包括 JPEG、H.264 和 H.265) ◆ 高清顯示:MIPI-DSI 支持 4Kp30,LVDS 支持 1080p ◆ 內(nèi)置 eMMC 5.1,存儲(chǔ)容量為 64GB ◆ 支持外部?jī)?nèi)存,數(shù)據(jù)速率高達(dá) 6.4 GT/s,32 位接口,支持 LPDDR5/LPDDR4X MPU (NXP i.MX95, MX95LPD5EVK-19CM) I/O 規(guī)格: ◆ 1 個(gè) 10GbE + 2 個(gè) Gb 以太網(wǎng),支持 TSN、AVB 和 IEEE 1588 同步 ◆ 1 個(gè)帶 PHY 的 USB 3.0 Type C + 1 個(gè)帶 PHY 的 USB 2.0 Type C ◆ 5 個(gè) CAN FD 接口 ◆ 8 個(gè) UART,8 個(gè) I2C,8 個(gè) SPI,2 個(gè) I3C ◆ 1 個(gè) 8 通道、12 位 ADC ◆ 2 個(gè) 32 針 FlexIO 接口 ◆ 2 個(gè) PCIe Gen 3 單通道接口
評(píng)論