用小型載板傳輸4臺相機(jī)的數(shù)據(jù)流：快速原型設(shè)計(jì)
加入技術(shù)交流群
嵌入式視覺組件一直很受歡迎，被眾多應(yīng)用所采用。所有這些應(yīng)用的共同點(diǎn)是需要在狹小的空間內(nèi)集成越來越多的功能。通常，讓這些系統(tǒng)在邊緣做出決策也是很有利的。為了支持此類系統(tǒng)，包括快速原型設(shè)計(jì)的能力，Teledyne FLIR 推出了 Quartet? 嵌入式 TX2 解決方案。這種定制的載板可在滿帶寬下輕松集成最多 4 臺 USB3 機(jī)器視覺相機(jī)。它包括 NVidia Jetson 深度學(xué)習(xí)硬件加速器，預(yù)先集成了 Teledyne FLIR 的 Spinnaker? SDK。通常，讓這些系統(tǒng)在邊緣做出決策也是很有利的，尤其是在檢查、移動機(jī)器人、交通系統(tǒng)和各種類型的無人載具領(lǐng)域。
圖1 所有四個應(yīng)用程序的原型設(shè)置
在這篇非常實(shí)用的文章中，為了強(qiáng)調(diào) Quartet 能夠?qū)崿F(xiàn)的功能，我們描述了開發(fā)受 ITS（交通系統(tǒng)）啟發(fā)的原型的步驟，該原型同時運(yùn)行四個應(yīng)用程序，其中三個采用了深度學(xué)習(xí)：
● 應(yīng)用程序 1：利用深度學(xué)習(xí)識別車牌
● 應(yīng)用程序 2：利用深度學(xué)習(xí)實(shí)現(xiàn)車輛類型分類
● 應(yīng)用程序 3：利用深度學(xué)習(xí)實(shí)現(xiàn)車輛顏色分類
● 應(yīng)用程序 4：透過擋風(fēng)玻璃觀察（透過反光和眩光）
購物清單：硬件和軟件組件
1）用于處理的 SOM：
用于 TX2 的新 Teledyne FLIR Quartet 載板包括：
● 4 個 TF38 連接器，配備專用的 USB3 控制器
● Nvidia Jetson TX2 模塊
● 預(yù)裝了 Teledyne FLIR 功能強(qiáng)大且便于使用的 Spinnaker SDK，以確保在即插即用情況下兼容 Teledyne FLIR Blackfly S 板級相機(jī)
● Nvidia Jetson 深度學(xué)習(xí)硬件加速器可在緊湊型單板上實(shí)現(xiàn)完整的決策系統(tǒng)
圖2 帶TX2的Quartet嵌入式解決方案，可配備4臺Blackfly S相機(jī)和4根FPC電纜
2）相機(jī)和電纜
● 3 臺標(biāo)準(zhǔn) Teledyne FLIR Blackfly S USB3 板級攝像頭，采用與盒裝版相同的豐富功能集，適用于最新的 CMOS 傳感器，可與 Quartet 無縫集成
● 1 臺定制相機(jī)：Blackfly S USB3 板級相機(jī)，帶 Sony IMX250MZR 偏振傳感器
● 線纜：TF38 FPC 電纜，可用單根電纜傳輸電源和數(shù)據(jù)，節(jié)省了空間
圖3 Blackfly S板級相機(jī)，帶FPC電纜
3）照明：LED 燈可提供充足的照明，以避免車牌的運(yùn)動模糊。
應(yīng)用程序 1：利用深度學(xué)習(xí)識別車牌
開發(fā)時間：2-3 周，主要是為了使其更加穩(wěn)健，運(yùn)行速度更快
訓(xùn)練圖像：LPDNet 附帶
對于車牌識別，我們通過 Nvidia 部署了現(xiàn)成的車牌檢測 (LPDNet) 深度學(xué)習(xí)模型，以檢測車牌的位置。為了識別字母和號碼，我們使用了 Tesseract 開源 OCR 引擎。該相機(jī)為 Blackfly S 板級 890 萬像素彩色相機(jī) (BFS-U3-88S6C-BD)，配備了 Sony IMX267 傳感器。我們限制了車牌檢測的偵測區(qū)域，以加快運(yùn)行速度，并利用跟蹤來提高穩(wěn)健性。輸出包括車牌的邊界框，以及相應(yīng)的車牌字符。
圖4 傳輸車牌邊界框和車牌字符
應(yīng)用程序2：利用深度學(xué)習(xí)實(shí)現(xiàn)車輛類型分類
開發(fā)時間：約 12 小時，包括圖像采集和注釋
訓(xùn)練圖像：~300
在車型分類方面，我們利用遷移學(xué)習(xí)，用三臺玩具車（分別是 SUV、轎車和卡車）訓(xùn)練了我們自己的深度學(xué)習(xí)目標(biāo)檢測模型。我們采集了此設(shè)置在不同距離和角度下拍攝的約 300 幅訓(xùn)練圖像。相機(jī)為 Blackfly S 板級 500 萬像素彩色相機(jī) (BFS-U3-51S5C-BD)，配備了 Sony IMX250 傳感器。我們標(biāo)出了玩具車的邊界框，大約耗時 3 小時。我們進(jìn)行了遷移學(xué)習(xí)，以訓(xùn)練我們自己的 SSD MobileNet 目標(biāo)檢測模型，訓(xùn)練過程在 Nvidia GTX1080 Ti GPU 上進(jìn)行，耗時半天左右。通過 GPU 硬件加速器，Jetson TX2 模塊可以高效率地執(zhí)行深度學(xué)習(xí)推斷，并輸出汽車的邊界框，以及對應(yīng)的車輛類型。
圖5 傳輸邊界框和預(yù)設(shè)的車輛類型，以及確認(rèn)的置信系數(shù)
應(yīng)用程序 3：利用深度學(xué)習(xí)實(shí)現(xiàn)車輛顏色分類
開發(fā)時間：重復(fù)利用了“車輛類型應(yīng)用”中的型號，用額外 2 天時間進(jìn)行顏色分類、集成和測試
訓(xùn)練圖像：重復(fù)利用了 300 幅與“車輛類型應(yīng)用”相同的圖像
對于車輛顏色分類，我們運(yùn)行了與上述相同的深度學(xué)習(xí)對象檢測模型來檢測汽車，然后在邊界框上進(jìn)行了圖像分析，以對其顏色進(jìn)行分類。輸出包括汽車的邊界框，以及對應(yīng)的車輛顏色。相機(jī)為 Blackfly S 板級 300 萬像素彩色相機(jī) (BFS-U3-32S4C-BD)，配備了 Sony IMX252 傳感器。
圖6 傳輸邊界框和確認(rèn)的預(yù)設(shè)顏色類型
應(yīng)用程序 4：透過擋風(fēng)玻璃觀察（透過反光和眩光）
減少眩光對于交通相關(guān)應(yīng)用至關(guān)重要，例如透過擋風(fēng)玻璃觀察 HOV 車道、檢查安全帶是否合規(guī)，甚至可以檢查駕駛時是否使用手機(jī)。為此，我們將 Blackfly S USB3 板級相機(jī)與 500 萬像素 Sony IMX250MZR 偏振傳感器相結(jié)合，定制了一款相機(jī)。這款板級偏振相機(jī)不是標(biāo)準(zhǔn)產(chǎn)品，但 Teledyne FLIR 能夠輕松換用不同的傳感器，從而提供定制的相機(jī)選項(xiàng)，以展示其消眩光功能。我們只需通過 Teledyne FLIR 的 SpinView GUI 來傳輸相機(jī)圖像流，該 GUI 提供各種“偏振算法”選項(xiàng)，如四通道模式、眩光弱化模式，可以在靜止的玩具車上顯示眩光弱化效果。
圖7 Spinnaker SDK GUI 提供各種“偏振算法”選項(xiàng)，如四通道模式、眩光弱化模式，可以在靜止的玩具車上顯示眩光弱化效果。四通道模式可以顯示 4 個不同的偏振角度所對應(yīng)的 4 幅圖像
系統(tǒng)總體優(yōu)化
雖然這四個原型各自獨(dú)立工作，但我們注意到，在所有深度學(xué)習(xí)模型同時運(yùn)行時，總體性能相當(dāng)差。Nvidia 的 TensorRT SDK 為 Nvidia 硬件（如 Jetson TX2 模塊）提供深度學(xué)習(xí)推斷優(yōu)化器和運(yùn)行時。我們用 TensorRT SDK 優(yōu)化了我們的深度學(xué)習(xí)模型，使性能提升了 10 倍左右。在硬件方面，我們將一個散熱器連接到 TX2 模塊，以避免過熱，因?yàn)樵撃K在所有應(yīng)用程序都運(yùn)行時會相當(dāng)熱。最終，我們設(shè)法在所有四個應(yīng)用程序一起運(yùn)行時實(shí)現(xiàn)了良好的幀率：車輛類型識別為 14 fps，車輛顏色分類為 9 fps，自動車牌識別為 4 FPS，偏振相機(jī)為 8 FPS。
由于 Quartet 嵌入式解決方案和 Blackfly S 板級相機(jī)的易用性和可靠性，我們在相對較短的時間內(nèi)開發(fā)出了此原型。預(yù)裝了 Spinnaker SDK 的 TX2 模塊可確保在即插即用的情況下兼容所有 Blackfly S 板級相機(jī)，這些相機(jī)可在滿 USB3 帶寬下，通過 TF38 連接器實(shí)現(xiàn)可靠的傳輸。Nvidia 提供了多種工具來促進(jìn) TX2 模塊的開發(fā)和優(yōu)化。Quartet 現(xiàn)在可從 fir.com 上在線購買，也可以通過我們的辦事處和全球經(jīng)銷商網(wǎng)絡(luò)購買。
評論