輔助駕駛：基于圖像傳感器的汽車全景環(huán)視系統(tǒng)

背景

1.1概述

汽車是現(xiàn)代社會最為有效、使用最為廣泛的交通工具之一，是維持人們正常生活工作所不可或缺的一部分。然而，汽車的大量涌現(xiàn)，日益頻繁的交通堵塞和交通事故，嚴(yán)重影響到人們?nèi)粘Ｉ畹姆奖愫凸ぷ鞯男剩踔廖：Φ饺藗兊纳踩?。研究分析表明，每個交通事故均不同程度地涉及到駕駛員、汽車和道路環(huán)境因素，而與駕駛員因素有關(guān)的事故約占九成，駕駛員的人為失誤已經(jīng)被公認(rèn)為是交通事故的主要原因。如何減少“人”在交通系統(tǒng)中發(fā)揮的不確定因素，已經(jīng)成為汽車安全領(lǐng)域研究的重點(diǎn)。通過先進(jìn)的技術(shù)手段增強(qiáng)駕駛員感知能力，甚至替代部分駕駛?cè)蝿?wù)，為車輛提供日益完善的安全預(yù)警和輔助駕駛功能，逐步實(shí)現(xiàn)車輛的智能化，并最終走向完全無人駕駛的智能車輛，必將是解決交通安全問題的根本途徑。

隨著圖像處理和計算機(jī)視覺的快速發(fā)展，越來越多的先進(jìn)技術(shù)被應(yīng)用到汽車電子領(lǐng)域，傳統(tǒng)的基于圖像的輔助駕駛只在汽車車尾安裝倒車攝像頭，只能覆蓋汽車周圍的有限區(qū)域，而車兩側(cè)和前方的視覺盲區(qū)無疑增加了安全駕駛的隱患。

我們具有自主知識產(chǎn)權(quán)的車載全景視覺技術(shù)是將分布安裝于車輛周邊的圖像傳感器捕捉的圖像進(jìn)行合成和投影，在人機(jī)界面虛擬一個單一的全景圖像，并且這個圖像時無盲區(qū)的，能夠360°的觀察車身周邊的狀況。同時，這個圖像經(jīng)過合成和投影，形成符合人的思維習(xí)慣的全景圖像。

1.2研究現(xiàn)狀

車載傳感器類型如表1所示，在這其中，全景視覺傳感器技術(shù)受到越來越多的關(guān)注，并成為車載電子裝置未來發(fā)展的主要方向。屬于視覺感知技術(shù)之一的全景視覺傳感器技術(shù)是智能感知交通環(huán)境重要的技術(shù)手段，它可以全方位、全天候、全時段地監(jiān)視、分析和記錄車內(nèi)外的情況，為報警系統(tǒng)、控制系統(tǒng)和安全避讓系統(tǒng)提供最直觀的狀態(tài)信息，也為車輛和乘員的安全保護(hù)提供了事前告之、過程記錄和事后重現(xiàn)的技術(shù)手段。特別是在復(fù)雜的道路環(huán)境下，通過全面的視覺技術(shù)，可以使駕駛者的觀察得以延伸和擴(kuò)大，真正做到“眼觀六路”，掌控全局。

車載全景視覺傳感器分為兩種，即把拍攝的圖像提供給駕駛者觀看的“顯示用視覺傳感器”，以及把拍攝的圖像傳送至計算機(jī)進(jìn)行處理的“處理用視覺傳感器”。 車載全景視覺傳感器今后的發(fā)展趨勢有如下幾個方面：

（1）處理用視覺傳感器的迅速普及；

（2）處理用視覺傳感器的多功能化；

（3）顯示用視覺傳感器和處理用視覺傳感器的融合。

表1：各種行駛傳感技術(shù)的比較

在BMW和NISSAN的高端車型上，已經(jīng)開始使用多個攝像頭來輔助駕駛員的操作和泊車，在VOLVO的XC60，XC90等概念車型上，已經(jīng)開始使用圖像識別技術(shù)來輔助駕駛?cè)藛T的并線和巡航操作。在LEXUS的部分概念車型上，也有使用單目攝像頭來進(jìn)行簡單的自動泊車的演示系統(tǒng)。

根據(jù)第三方的市場研究公司 Techno Systems Research (TSR) 的研究指出，在 2008 年時約有 20% 的新車配備整合式攝影機(jī)，而到了 2012 年時預(yù)計將增加到接近 70%，并且會有很大比例新車安裝至少2個以上攝像機(jī)，車用視頻裝置即將成為各類車輛的主流配置。

表2：已采用視覺感知技術(shù)的汽車領(lǐng)域應(yīng)用比較

圖像能夠提供給使用者最直觀高效的輔助信息。人類大腦的模糊思維和判斷能力決定了，人隨意掃視圖像所獲得的信息量和信息準(zhǔn)確性遠(yuǎn)遠(yuǎn)大于費(fèi)力地觀察若干儀表所能得到的信息量和信息準(zhǔn)確性,并且圖像方式得到的信息更加直觀可靠。如表2所示，可以預(yù)見在不遠(yuǎn)的將來，基于全景視覺傳感器技術(shù)和圖像識別技術(shù)來實(shí)現(xiàn)輔助駕駛和安全功能的系統(tǒng)將廣泛應(yīng)用于各類車輛，進(jìn)而成為無人駕駛汽車和智能導(dǎo)航系統(tǒng)的關(guān)鍵技術(shù)。

本設(shè)計的最終目標(biāo)就是要給出基于FPGA技術(shù)來構(gòu)架SOC實(shí)現(xiàn)的以全景視覺處理為基礎(chǔ)的汽車環(huán)視系統(tǒng)。通過4路廣角攝像頭實(shí)時采集數(shù)據(jù)，并將采集到的4路視頻數(shù)據(jù)進(jìn)行預(yù)處理和配準(zhǔn)拼接等一系列處理實(shí)現(xiàn)360度的實(shí)時全景視覺圖像，并通過VGA顯示器進(jìn)行顯示。

研究方法和技術(shù)路線

在系統(tǒng)構(gòu)成方面，系統(tǒng)主要分為三個部分，圖像采集、圖像處理及顯示。圖像的采集是使用4路模擬攝像頭，通過自行設(shè)計的視頻采集電路板接入圖像，并通過DMA將實(shí)時圖像數(shù)據(jù)搬到存儲器中。這里采用了NTSC制式的模擬攝像頭，攝像頭的性能和顯示效果一般。我們的研究重點(diǎn)是采用更加高效的算法和設(shè)計思路，在目前有限的資源條件下，最大限度的利用資源以達(dá)到最佳的設(shè)計和顯示效果。

圖像處理部分是采用基于區(qū)域匹配的圖像合成算法，將采集到的圖像數(shù)據(jù)進(jìn)行相關(guān)的算法操作，并最終通過顯示部分呈現(xiàn)出經(jīng)過合成算法處理后的全景圖像。在對現(xiàn)有算法的研究基礎(chǔ)之上，我們對現(xiàn)有算法進(jìn)行了改進(jìn)，設(shè)計出了適合現(xiàn)有設(shè)計平臺及資源的更加高效的算法，并且還對算法較為耗時的部分進(jìn)行了硬件化處理，使圖像處理部分的性能達(dá)到最高。

本系統(tǒng)對顯示部分采用了硬件實(shí)現(xiàn)，直接將圖像的顯示通過硬件直接處理，為耗時更多的圖像處理部分節(jié)約出更多的CPU資源，以使整個系統(tǒng)的效能達(dá)到最優(yōu)。

系統(tǒng)的實(shí)現(xiàn)是在實(shí)驗(yàn)室環(huán)境下，使用了xilinx公司的Vertex-5 FPGA平臺，充分利用和發(fā)揮其資源以及FPGA在硬件開發(fā)方面的優(yōu)勢，在小車模型基礎(chǔ)上進(jìn)行視頻合成，圖像分析的研究和實(shí)現(xiàn)，并搭建相應(yīng)的模擬仿真環(huán)境，進(jìn)行圖像處理和分析算法的設(shè)計和驗(yàn)證，對獲取的圖像和視頻進(jìn)行進(jìn)一步的學(xué)習(xí)和分類，并根據(jù)分類的結(jié)果對算法的參數(shù)進(jìn)行分類和調(diào)整，在實(shí)際應(yīng)用過程中，系統(tǒng)將根據(jù)實(shí)際條件自動調(diào)節(jié)算法的參數(shù)，分路況對系統(tǒng)進(jìn)行測試，并根據(jù)實(shí)際測試的結(jié)果不斷反饋，從而繼續(xù)改進(jìn)和優(yōu)化算法，直到系統(tǒng)達(dá)到最終的效果。

設(shè)計結(jié)構(gòu)

圖1系統(tǒng)整體設(shè)計結(jié)構(gòu)圖

系統(tǒng)的原理主要根據(jù)系統(tǒng)的整體結(jié)構(gòu)進(jìn)行劃分，如圖1所示，系統(tǒng)整體分為圖像采集部分、圖像處理部分和顯示控制部分。

圖像采集部分

圖像采集部分采用自行設(shè)計的視頻采集電路板，視頻數(shù)據(jù)通過Vertex-5的GPIO接口接入，通過一個自行設(shè)計的硬件BT656解碼器，將圖像數(shù)據(jù)幀的純數(shù)據(jù)提取出來，然后由DMA將其搬入到Vertex-5平臺的DDR2 SDRAM中。整個采集過程是由硬件獨(dú)立完成，僅在系統(tǒng)的上電初始化階段由CPU參與，在后續(xù)的圖像傳輸過程中數(shù)據(jù)流可以獨(dú)立運(yùn)行。

圖2視頻采集結(jié)構(gòu)圖

接入FPGA后的數(shù)據(jù)處理如圖3所示，經(jīng)過轉(zhuǎn)化和解碼后的視頻數(shù)據(jù)首先接入FIFO中，并由DMA從已經(jīng)自行設(shè)計的流接口控制模塊將FIFO中數(shù)據(jù)搬入DDR2_SDRAM中，后面將由Macroblaze軟核對圖像數(shù)據(jù)進(jìn)行處理。

圖像處理部分

圖像處理部分基于Macroblaze軟核并結(jié)合用戶自定義設(shè)計模塊進(jìn)行。圖像處理的工作主要由自定義設(shè)計的模塊完成，本設(shè)計中，由于涉及到多路圖像的處理操作，數(shù)據(jù)吞吐量和處理工作都比較巨大，僅靠Macroblaze處理器很難完成預(yù)定的運(yùn)算量，因此，本設(shè)計的一個特點(diǎn)在于，將定制大規(guī)模的圖像加速處理自定義硬件模塊，以完成對圖像處理的操作。

其中Macroblaze主要負(fù)責(zé)進(jìn)行外設(shè)的管理配置，數(shù)據(jù)流控制，以及顯示交互控制。圖像的采集、預(yù)處理部分的工作，需要將視頻視頻解碼并由DMA將傳輸入視頻數(shù)據(jù)搬入DDR2 SDRAM中。

圖3. 系統(tǒng)軟件流程圖

如圖3所示為系統(tǒng)的軟件流程圖，其中標(biāo)紅的部分為待選擇完成的內(nèi)容，今后將對這幾部分進(jìn)行實(shí)現(xiàn)，視頻的合成算法研究是本系統(tǒng)最終實(shí)現(xiàn)的部分。圖像的合成算法采用了基于區(qū)域匹配的合成算法，本算法在對兩幅圖像之間的邊緣處理上具有很高的擬合特性，與基于特征點(diǎn)匹配的合成算法相比，圖像的邊緣痕跡更加的淡化，圖像的合成效果更佳。

顯示控制部分

圖4 通過PC模擬算法的顯示效果

圖4為在PC機(jī)上執(zhí)行算法后的圖像顯示效果。圖像最終通過Vertex-5的DVI轉(zhuǎn)接VGA接出，后續(xù)的工作還將采用觸屏VGA顯示器，以提高產(chǎn)品人機(jī)交互的易用性和友好性。

系統(tǒng)實(shí)施與測試

視頻采集部分

1、視頻采集部分的PCB設(shè)計

視頻采集電路板的設(shè)計工具為Cadence 16.3，主芯片采用了TVP5150，電路板接入了六路模擬視頻圖像，我們在本系統(tǒng)中僅使用了其中的4路，另外的兩路是本系統(tǒng)在針對大型作業(yè)車輛而設(shè)計增加的額外的攝像頭。下圖為采集板的設(shè)計原理圖：

圖5 視頻采集電路板原理圖

視頻的A/D轉(zhuǎn)換部分

此部分選用了六個TVP5150芯片進(jìn)行視頻解碼。由于其使用簡易，超低功耗，并且封裝極小，因此被廣泛使用。

此部分的設(shè)計原理圖如下：

圖6 TVP5150解碼芯片原理圖

電源部分

電源部分的供電主要有3.3V和1.8V。電源芯片采用了X1117芯片，原因上面已經(jīng)講過了，在這里就不再贅述了。原理圖如下：

圖7 電源芯片

外圍接口及時鐘

根據(jù)TVP5150芯片資料，時鐘采用了14.31818MHz的時鐘芯片。為了保證芯片的時鐘供應(yīng)的穩(wěn)定性，設(shè)計中采用了3片時鐘芯片，每兩片共用一個時鐘芯片，以保證芯片的工作穩(wěn)定性。

外圍接口和時鐘原理圖如下:

圖8 時鐘芯片原理圖

圖9 與Vertex-5平臺連接接口定義原理圖

本系統(tǒng)的電路板采用了4層板設(shè)計，布局布線后的效果如圖6所示。

圖10 視頻采集電路板布局、布線圖

最終電路板的實(shí)物圖如圖7所示。

圖11視頻采集電路板實(shí)物圖

2、頻數(shù)據(jù)的采集

這個部分又可以分為兩部分：1、視頻采集電路、數(shù)據(jù)格式轉(zhuǎn)換及緩沖區(qū)的設(shè)置。2、Microblaze軟核，具體的Microblaze系統(tǒng)結(jié)構(gòu)如圖12所示。

圖12. Microblaze系統(tǒng)結(jié)構(gòu)圖

如圖4所示，攝像頭采集到的數(shù)據(jù)首先通過A/D芯片，將模擬信號轉(zhuǎn)換為BT656標(biāo)準(zhǔn)的數(shù)字信號，這里的信號主要有8位數(shù)據(jù)線、27MHz的輸出時鐘、行同步信號（HS）和場同步信號（VS）。經(jīng)過轉(zhuǎn)換模塊將數(shù)據(jù)轉(zhuǎn)換為去消隱后的BT656標(biāo)準(zhǔn)的數(shù)據(jù)，這里的輸出信號為16位數(shù)據(jù)信號和寫使能信號。

圖13. TVP5150芯片視頻編碼格式

圖14. ITU-656視頻格式

然后寫入到讀寫時鐘異步的FIFO中，F(xiàn)IFO與流控模塊FIFO_ST相連。后續(xù)的數(shù)據(jù)搬移操作就由DMA來進(jìn)行了。

數(shù)據(jù)的采集處理方式，采用了DMA + FIFO的方式，由于視頻采集的數(shù)據(jù)量較大，這里更適合采用流傳輸模式。因此，此部分使用了適合進(jìn)行流數(shù)據(jù)傳輸和搬移的DMA。

圖像處理與顯示

由于Microblaze軟核的主頻運(yùn)行速率最快只能達(dá)到200MHz，在其上運(yùn)行視頻合成算法每秒不到1幀，因此，我們將原有的算法在PC機(jī)上運(yùn)行，并生成相應(yīng)的數(shù)據(jù)合成映射表，為了提高查表效率，還將大表分解為小表，使查表速率得到了一定的提升。但是此時系統(tǒng)的運(yùn)行速率依然不能滿足顯示要求，所以，我們充分發(fā)揮了FPGA的優(yōu)勢，將查表模塊進(jìn)行了硬件化實(shí)現(xiàn)，最終達(dá)到了顯示的要求。

結(jié)論

本系統(tǒng)按照預(yù)期的計劃，完成了既定的任務(wù)和目標(biāo)。充分發(fā)揮了FPGA平臺的優(yōu)勢，并且在這個過程中我們也解決了很多技術(shù)難題：通過自行設(shè)計的視頻采集電路板，解決了Vertex-5的多路視頻接入的問題；解決了大量數(shù)據(jù)的搬移和處理問題；設(shè)計改進(jìn)了現(xiàn)有的圖像合成算法，并加以硬件實(shí)現(xiàn)提高了系統(tǒng)的性能。但在顯示效果和運(yùn)行速率上仍然有提升空間，在后續(xù)的工作中我們還將加入車道線識別、并線輔助、自動剎車等功能，不僅如此，還有可能對現(xiàn)有設(shè)備再進(jìn)行進(jìn)一步的升級，將原有的模擬攝像頭更換為數(shù)字?jǐn)z像頭，以達(dá)到更好的效果。