只需1小時(shí)，輕松玩轉(zhuǎn)視覺AI？Xilinx Kria KV260視覺AI套件評測

本文來為貿(mào)澤電子獨(dú)家原創(chuàng)文章

視覺AI應(yīng)用發(fā)展至今，已經(jīng)遍地開花，你能想到的或想不到的地方，它都存在。至于它的邊界在哪里，說是潛力無限也好不夸張，就像今天要評測的Xilinx Kria? KV260視覺AI套件，他刷新了我對視覺AI及FPGA上手難易度的認(rèn)知。

 1  套件介紹及開箱

Xilinx Kria? KV260視覺AI入門套件是一個(gè)開箱即用平臺，開發(fā)人員可以通過首選設(shè)計(jì)環(huán)境，在任何抽象層添加定制和差異化功能，包括應(yīng)用軟件、AI模型乃至FPGA設(shè)計(jì)。該套件是超快速簡易平臺，用于開發(fā)應(yīng)用以使用Kria? K26系統(tǒng)模塊（SOM）進(jìn)行批量部署。

這個(gè)套件包括最多支持八個(gè)接口的多攝像頭、三個(gè)MIPI傳感器接口、一個(gè)USB攝像頭、一個(gè)內(nèi)置ISP組件、HDMI DisplayPort輸出以及千兆以太網(wǎng)和USB 3.0/2.0連接功能。該套件還允許開發(fā)人員針對任何傳感器或接口進(jìn)行擴(kuò)展，并訪問Pmod生態(tài)系統(tǒng)。KV260針對視覺應(yīng)用進(jìn)行了優(yōu)化，通過安森美半導(dǎo)體的影像接入系統(tǒng)（IAS）和Raspberry Pi連接器提供多攝像頭支持。

圖1

在拿到了板卡之后，內(nèi)部主要有兩個(gè)盒子，一個(gè)是板卡包裝盒，可以從外包裝上看到，這個(gè)就是Kria? 板卡的外包裝，此板卡為視覺AI套件，和視覺AI套件對應(yīng)的還有機(jī)器人套件：

圖2

另一個(gè)是配件包盒子，配件包盒子就是一個(gè)簡簡單單的牛皮紙盒，但內(nèi)部提供的配件是非常多的：

圖3

打開板卡包裝盒，板卡正面特寫，可以看到板卡由核心板和一個(gè)載板構(gòu)成，該板卡提供了非常多的外部接口，如千兆以太網(wǎng)、4個(gè)USB3.0，1個(gè)HDMI，1個(gè)DP接口以及一個(gè)12V電源輸入接口，兩個(gè)MIPI接口，一個(gè)PMOD接口，串口等等，外設(shè)接口提供的非常全面，美中不足的是沒有提供開關(guān)：

圖4

板卡背面特寫：

圖5

電源適配器需單獨(dú)購買：

圖6

電源適配器貼心的提供了不同標(biāo)準(zhǔn)接口：

圖7

HDMI連接線：

圖8

千兆網(wǎng)線：

圖9

MicroUSB線：

圖10

Cmos Sensor：

圖11

Sensor正面：

圖12

Sensor背面：

圖13

提供的SD卡架和TF卡，這個(gè)出廠里面是空的，并沒有燒錄鏡像。

圖14

此外，Xilinx還提供了一個(gè)安裝架，用來固定板卡，安裝完成后十分的漂亮（如圖15所示）。

 2  套件外觀與接口通過基本外觀

圖15可以看到，板卡其實(shí)是由兩部分構(gòu)成的，在紅色風(fēng)扇下面壓著的，就是我們的核心板，底部的就是載板，通常被稱為Carrier Board。

圖15

這種通過核心板+擴(kuò)展版的設(shè)計(jì)方法能夠有效的減少設(shè)計(jì)時(shí)間與設(shè)計(jì)風(fēng)險(xiǎn)，核心板與底板可以替換、升級，非常方便。Xilinx將他們的核心板成為SOM(System-on-Module)，這塊板卡所使用的核心板型號為K26 SOM，官網(wǎng)頁面如下圖16所示：

圖16

這個(gè)SOM核心器件使用了Xilinx的ZYNQ Ultrascale+系列SOC/FPGA，該SOM資源種類、資源量、接口種類都非常豐富，如下表1所示：

表1

通過以上資源，給了我們非常大的空間與舞臺，讓我們在這個(gè)SOM上實(shí)現(xiàn)我們的想法。

對于這個(gè)視覺開發(fā)套件的載板，也就是Carrier Board，也提供了非常多的外部接口，如下表所示，它針對AI應(yīng)用，引出了K26 SOM內(nèi)偏向于視覺的接口，供我們針對性選用。

KV260載板的硬件框圖如下圖17所示：

圖17

KV260對應(yīng)此硬件框圖，提供的外部接口資源如下圖18所示：

圖18

 3  上手體驗(yàn)&運(yùn)行Demo

Xilinx為我們提供了頁面，告訴我們?nèi)绾伍_始，官網(wǎng)頁面點(diǎn)此查看。

  首先，根據(jù)頁面我們需要準(zhǔn)備好一些配件：

● KV260電源和適配器（12V，3A）

● MicroSD卡（16GB）

● USB-A至micro-B電纜

● 13MP自動(dòng)聚焦RGB攝像頭（AR1335）模塊

● 以太網(wǎng)電纜

● HDMI電纜（連接至監(jiān)視器）

此外，我還準(zhǔn)備了讀卡器和DP線纜。

根據(jù)頁面所述，我們可以選擇直接使用編譯好的ubuntu或者petalinux，我選擇使用petalinux。點(diǎn)擊下方按鈕繼續(xù)：

圖19

接下來就是下載鏡像和一些燒錄，格式化TF卡等等工具，鏡像下載界面點(diǎn)此查看。

燒錄器下載鏈接：https://www.balena.io/etcher/

除了頁面要求外，我另外準(zhǔn)備了串口通信工具M(jìn)obaXterm，這個(gè)軟件的Home版本是免費(fèi)的，足夠我們使用。

另外，TF卡格式化工具我選擇了老牌的SDFormatter，簡單可靠好用。

鏡像與工具準(zhǔn)備完成如下圖20所示：

圖20

然后，進(jìn)入“開始設(shè)計(jì)”的步驟2，按照動(dòng)圖提示，先鏈接其他連線、TF卡、Sensor，最后再給板卡鏈接適配器進(jìn)行供電。

通過終端連接板卡，如下圖21所示，可以看到已經(jīng)有啟動(dòng)的log信息輸出：

圖21

提示進(jìn)行登錄：

圖22

由于是第一次進(jìn)入板卡系統(tǒng)，要求設(shè)置個(gè)新密碼并確認(rèn)，按照要求輸入即可。

成功進(jìn)入系統(tǒng)：

圖23

然后我們可以嘗試進(jìn)行運(yùn)行Xilinx提供的只能攝像頭加速應(yīng)用。

Xilinx憑借Kria? KV260視覺AI入門套件向用戶推出“加速應(yīng)用”的概念。這些是為AI及軟件開發(fā)者預(yù)先構(gòu)建的應(yīng)用，可幫助他們領(lǐng)先一步開發(fā)目標(biāo)終端應(yīng)用。

您可以快速運(yùn)行一款我們的加速應(yīng)用，甚至可以使用不同的人工智能模型或傳感器對其進(jìn)行定制。聽起來讓人很振奮！我們來試用一下智能相機(jī)加速應(yīng)用。

KV260 Vision AI入門套件的獨(dú)特之處在于：它能夠加載和運(yùn)行能通過配置硬件來實(shí)現(xiàn)多種功能的應(yīng)用?！皒mutil”實(shí)用程序可用于加載各種應(yīng)用。一個(gè)加速應(yīng)用可在既定的時(shí)間加載。我們將首先加載一個(gè)應(yīng)用，將SOM編程為智能相機(jī)，該應(yīng)用能夠處理來自MIPI或USB相機(jī)的1080p視頻流，并通過HDMI或DisplayPort進(jìn)行顯示，或通過有線以太網(wǎng)進(jìn)行流處理。

 4  智能攝像頭加速應(yīng)用簡介

內(nèi)置機(jī)器學(xué)習(xí)并能執(zhí)行面部/行人檢測的超高清攝像頭，支持從各種視頻源（Mipi攝像頭、視頻文件&USB攝像頭）捕獲信息，能夠通過基于ROI編碼的視頻的HDMI、DisplayPort或RTSP傳輸功能輸出處理過的視頻。

最普及的使用案例：智慧城市應(yīng)用（面部、行人檢測和交通管理）和視頻分析功能。

圖24

系統(tǒng)可輸入直流或交流電進(jìn)行供電，通過AC-DC或DC-DC電路進(jìn)行變換后與系統(tǒng)的多模式電源管理系統(tǒng)交互，PAC5556支持UART、SPI、CAN和IIC等多種通信方式，隨后通過驅(qū)動(dòng)電路驅(qū)動(dòng)電機(jī)進(jìn)行旋轉(zhuǎn)，通過霍爾傳感器反饋位置或無霍爾傳感器的轉(zhuǎn)子位置估算技術(shù)進(jìn)行換向及調(diào)速，同時(shí)系統(tǒng)支持信號監(jiān)測技術(shù)，可實(shí)時(shí)監(jiān)測電流、電壓及功率等信息。

 5  啟動(dòng)智能攝像頭加速應(yīng)用

在運(yùn)行目標(biāo)上動(dòng)態(tài)安裝智能相機(jī)應(yīng)用軟件包。Xilinx能夠采用運(yùn)行時(shí)軟件包管理（rpm）格式為用戶提供軟件包饋送，使他們能夠在使用dnf軟件包管理器實(shí)用程序命令“dnf install”運(yùn)行 Linux 啟動(dòng)器映像的基礎(chǔ)上，動(dòng)態(tài)加載 Xilinx加速應(yīng)用。此外，Xilinx還可提供xmutil實(shí)用程序（xmutil getpkgs），用于搜索軟件包饋送并查詢針對Vision AI入門套件提供的加速應(yīng)用軟件包組。命令如下：

1）運(yùn)行sudo xmutil getpkgs命令，獲取所提供的應(yīng)用軟件包組列表。

圖25

2）運(yùn)行sudo dnf install packagegroup-kv260-smartcam.noarch命令，從上表安裝智能相機(jī)加速應(yīng)用軟件包組。出現(xiàn)提示時(shí)，按“是”，等待大約2分鐘，安裝204個(gè)軟件包。

圖26

出現(xiàn)提示，輸入Y確認(rèn)安裝。

圖27

正在下載…

圖28

自動(dòng)進(jìn)行安裝：

圖29

安裝完成。

圖30

 6  加載智能相機(jī)加速應(yīng)用固件

在執(zhí)行/opt/xilinx/bin上提供的新安裝應(yīng)用之前，需要使用xmutil實(shí)用程序命令加載 FPGA 固件（PL 位流+設(shè)備樹覆蓋+ PL驅(qū)動(dòng)程序）。按照以下步驟在Vision AI入門套件上加載智能相機(jī)加速應(yīng)用固件。

1）運(yùn)行sudo xmutil listapps命令，列出Vision AI入門套件上可用的現(xiàn)有應(yīng)用固件。

圖31

2）運(yùn)行sudo xmutil unloadapp命令，卸載默認(rèn)的“kv260-dp”應(yīng)用固件。

圖32

3）運(yùn)行sudo xmutil loadapp kv260-smartcam命令，加載智能相機(jī)加速應(yīng)用固件。

圖33

運(yùn)行智能相機(jī)加速應(yīng)用。

將AR1335攝像頭模塊對準(zhǔn)用戶面部并運(yùn)行智能相機(jī)加速應(yīng)用。要使用IAS攝像頭模塊運(yùn)行加速應(yīng)用，請使用以下命令：

圖34

注：“--usb”的參數(shù)0取決于USB網(wǎng)絡(luò)攝像頭在Vision AI入門套件上運(yùn)行Linux時(shí)檢測到的媒體節(jié)點(diǎn)。在本案例中，它是/dev/media0，所以我們使用“--usb 0”。

您也可從Jupyter Notebook控制智能相機(jī)應(yīng)用。Linux啟動(dòng)完成后，請通過在瀏覽器中輸入SOM的IP地址來啟動(dòng)Jupyter筆記本。通過該筆記本的單元來練習(xí)Kria? SOM的智能相機(jī)功能。

 7  運(yùn)行人臉識別加速器效果

直接拍攝快速識別到人臉，當(dāng)遮擋時(shí)識別不到，移開后又識別到人臉。

圖35

 8  小結(jié)

Xilinx Kria? KV260視覺AI入門套件板載接口充足，最令人欣喜的是加速應(yīng)用生態(tài)系統(tǒng)，可以通過首選設(shè)計(jì)環(huán)境在任何抽象等級添加定制和差異化功能，從應(yīng)用軟件到AI模型再到FPGA設(shè)計(jì)。我相信各類開發(fā)人員，不管有沒有FPGA經(jīng)驗(yàn)都可以在短時(shí)間內(nèi)運(yùn)行應(yīng)用程序，是我目前見過最快最簡單的開發(fā)平臺。