雙目立體視覺帶你進(jìn)入 FCW / LDW 新視野

現(xiàn)今，最火熱的 ADAS 應(yīng)用莫過于 前方防撞系統(tǒng)(Forward Collision Warning, FCW) 與 車道偏移系統(tǒng)(Lane Departure Warning, LDW)。
主要作用是預(yù)先偵測到任何會發(fā)生事故的物件或車輛、行人，盡而達(dá)到預(yù)防意外的功效! 以及搭配車道偏移預(yù)測加強(qiáng)輔助駕駛者 ! 但因受限于技術(shù)尚未成熟僅能針對特定的物件進(jìn)行描繪，像是車輛或是行人。故善用雙目立體視覺技術(shù)，即可提高物件辨識率以及辨識更多種類的物件就是未來的研究一大方向，更是各家學(xué)術(shù)單位、公司百家爭鳴之處。 

雙目立體視覺應(yīng)用層面相當(dāng)廣泛，能用于前車偵測與防撞、車道偏移、號志識別、行人偵測等等 ADAS 相關(guān)安全應(yīng)用，如下圖1。 即透過新穎的雙目概念建立新的維度 (物體深度/遠(yuǎn)近)，為車用安全領(lǐng)域多一種新的發(fā)想與延伸應(yīng)用，更能輕易的識別標(biāo)的物，以利于提早邁入自動駕駛的領(lǐng)域之中。并能配合光學(xué)焦距的設(shè)計(jì)，使識別物件距離達(dá)到另一種層次提升，替未來車輛開拓市場。

圖1  雙目立體視覺應(yīng)用場景

本方案提供一套 Sky Eye 雙目立體視覺 ADAS 產(chǎn)品開發(fā)原型與技術(shù)資源，如 "展示板圖片" 所示。要讓初入此領(lǐng)域者的開發(fā)者更快速地上手應(yīng)用，縮短開發(fā)周期并更能專注于開發(fā)算法，設(shè)計(jì)出符合一定水平的 ADAS 產(chǎn)品。目前主要針對前車偵測與辨識進(jìn)行開發(fā)，并搭配 Sony IMX224 車用感測器于實(shí)際架設(shè)在車輛上進(jìn)行道路測試，如下圖2，能夠偵測出前方車輛距離，最遠(yuǎn)偵測距離約50米。并邁入車用安全 ADAS 與自動駕駛之未來新領(lǐng)域中，創(chuàng)造更好的應(yīng)用價值。

圖2  Sky Eye 雙目視覺前車偵測實(shí)測示意圖

借由專屬的雙目立體視覺算法創(chuàng)造建立三維空間(景深)。如下圖所示，取得兩顆鏡頭之影像后，由視差概念計(jì)算獲得新的空間 "視差"  ! 同時，即可推導(dǎo)出車輛距離 (視差值越大距離越近，反之視差值越小則距離越遠(yuǎn)) !  亦可用彩色方式呈現(xiàn)視差圖，深淺程度由紅、澄、黃、綠、藍(lán)來表示近到遠(yuǎn)的物件，如 "實(shí)測結(jié)果與彩色視差示意圖" 所示。

圖3  Sky Eye 雙目視覺前車偵測之視差原理示意圖

本方案提供的技術(shù)核心參考，取得視差圖后就可依照算法流程進(jìn)行分析，由改善視差影像、地面估算、移除天空等步驟構(gòu)成，即可將場景中的物件分類出來。最后統(tǒng)計(jì)資訊并利用條件篩選出車輛，如同下圖結(jié)果顯示即表示搜尋到前方車輛 !!  經(jīng)實(shí)際測試，執(zhí)行速度約可達(dá)到每秒 27 張 FPS，可偵測到 50 米內(nèi)的車輛。

圖4  Sky Eye 算法流程大公開

最后，亦可善用 S32V234 APEX 視覺加速器所量身打造的 NXP eIQ Auto 套件與深度學(xué)習(xí)框架來提高識別車輛的辨識率 !! 達(dá)到辨識率與檢測速度更進(jìn)一步的提升!!

圖5  eIQ Auto機(jī)器學(xué)習(xí)軟體套件之應(yīng)用場景

? 場景應(yīng)用圖

? 產(chǎn)品實(shí)體圖

? 展示版照片

? 方案方塊圖

? 實(shí)測結(jié)果與彩色視差示意圖

? 核心技術(shù)優(yōu)勢

優(yōu)勢一 : 能配合雙目視覺之視差概念，建置深度資訊以利于識別物件。比起單一鏡頭，雙目視覺多一個維度運(yùn)用更能輕易識別遠(yuǎn)方的車輛，應(yīng)用前景極為廣闊可識別車輛、行人、號志與道路。 優(yōu)勢二: 提供兩路 MIPI 接口，其鏡頭相距 30 公分以擴(kuò)大視差效果，如下圖3，搭配 Sony IMX224 鏡頭可偵測 50 米內(nèi)之車輛。以視差原理搭配長焦、窄角鏡頭即可偵測更遠(yuǎn)的物體(車輛)，更加強(qiáng)化雙目視覺的優(yōu)勢。 優(yōu)勢三: 提供齊全的周邊配置，如 高畫質(zhì)多媒體界面(HDMI) 、 乙太網(wǎng)路(Ethernet) 、異步收發(fā)傳輸器(UART) 接口。 優(yōu)勢四: 可快速上手應(yīng)用 NXP eIQ Auto 深度學(xué)習(xí)套件，與雙目視覺結(jié)合能增加辨識速度。亦可配合任何一個深度學(xué)習(xí)的架構(gòu)作延伸應(yīng)用，提高物件識別的準(zhǔn)確度

? 方案規(guī)格

1. 主芯片 MPU 規(guī)格 (NXP S32V234)  :

    -  搭配 4 顆  Quad Cortex-A53 高效能處理器，最高時脈為 1GHz

     - 搭配 ISP 圖形處理器、APEX 視覺加速器、GPU 圖形加速器等核心

            -  ISP 圖形處理器 提供 HDR、色彩轉(zhuǎn)換、白平衡、自動曝光等技術(shù)

            -  APEX 視覺加速器 由 64 個小型運(yùn)算器組成的硬體加速器，能提高約 8 倍的運(yùn)算性能。

            -  GPU  圖形加速器(GC3000) ，運(yùn)算速度高達(dá) 800 MHZ 。

   -提供 4MB 內(nèi)部記憶體 與 DDR3/DDR3L/LPDDR2 外部記憶體

   -提供 H.264 影像解碼與編碼技術(shù) (8-12bit)

  - 提供 SD card 、Ethernet 等周邊接口

   -符合車用安全規(guī)范 ISO 26262 標(biāo)準(zhǔn) 與 車輛安全等級 ASIL 的要求 2. 鏡頭模組 Camera Module 規(guī)格 (Sony IMX224)  :

    - 提供最高分辨率為 1280(H)x960(V) 共 1.23 百萬畫素

    - 提供最大禎數(shù)率 120 frame/s

    - 提供 10 and 12 bit數(shù)位類比轉(zhuǎn)換器

    - 提供低光源時，良好的高分辨率彩色圖像

    - 符合 AEC-Q100 2級 3. 外部記憶體 External Memory DDR3 規(guī)格 (MT41K256M16TW-107) :

    - 最高運(yùn)行時脈為 933 MHZ

    - 儲存容量為 512 Byte

    - 操作電壓為 1.283 至 1.45 V

     -操作溫度為 0 至 95 度 4. 電源管理集成電路 PMIC (PF8100/PF8200) 規(guī)格:

     - 提供 7 個高效能降壓轉(zhuǎn)換器

     - 提供 4 個線性穩(wěn)壓器

     - 提供看門狗監(jiān)控機(jī)制

     - 符合 ISO 26262 標(biāo)準(zhǔn)與 車輛安全等級 ASIL-B 的要求 5.  低靜態(tài)電流同步降壓控制器 DCDC 規(guī)格（NCV881930）：

     - 工作頻率為 410 KHz，具有同步功能

     - 提供穩(wěn)定的工作電流 30umA

     - 提供熱關(guān)斷(TSD) 機(jī)制

     - 符合 AEC-Q100 與 PPAP 標(biāo)準(zhǔn)