史上最全綜述：3D目標(biāo)檢測算法匯總！（1）

來源：自動駕駛之心

近年來，自動駕駛因其減輕駕駛員負(fù)擔(dān)、提高行車安全的潛力而受到越來越多的關(guān)注。在現(xiàn)代自動駕駛系統(tǒng)中，感知系統(tǒng)是不可或缺的組成部分，旨在準(zhǔn)確估計周圍環(huán)境的狀態(tài)，并為預(yù)測和規(guī)劃提供可靠的觀察結(jié)果。
3D目標(biāo)檢測可以智能地預(yù)測自動駕駛車輛附近關(guān)鍵3D目標(biāo)的位置、大小和類別，是感知系統(tǒng)的重要組成部分。本文回顧了應(yīng)用于自動駕駛領(lǐng)域的3D目標(biāo)檢測的進(jìn)展。首先，我們介紹了3D目標(biāo)檢測的背景并討論了該任務(wù)中的一些挑戰(zhàn)。
其次，我們從模型和傳感器輸入方面對3D目標(biāo)檢測的進(jìn)展進(jìn)行了全面調(diào)查，包括基于LiDAR、基于相機和多模態(tài)檢測方法。我們還對每一類方法的潛力和挑戰(zhàn)進(jìn)行了深入分析。此外，我們系統(tǒng)地研究了3D目標(biāo)檢測在駕駛系統(tǒng)中的應(yīng)用。
最后，我們對3D目標(biāo)檢測方法進(jìn)行了性能分析，并進(jìn)一步總結(jié)了多年來的研究趨勢，展望了該領(lǐng)域的未來方向。

自動駕駛，旨在使車輛智能地感知周圍環(huán)境，并在很少或無需人力的情況下安全行駛，近年來取得了快速發(fā)展。
自動駕駛技術(shù)已廣泛應(yīng)用于自動駕駛卡車、無人駕駛出租車、送貨機器人等多種場景，能夠減少人為錯誤，提高道路安全。作為自動駕駛系統(tǒng)的核心組成部分，車輛感知通過各種傳感器輸入幫助自動駕駛汽車了解周圍環(huán)境。
感知系統(tǒng)的輸入一般是多模態(tài)數(shù)據(jù)(來自攝像頭的圖像數(shù)據(jù)、來自LiDAR的點云、高精地圖等），并且會預(yù)測道路上關(guān)鍵要素的幾何和語義信息。高質(zhì)量的感知結(jié)果可作為軌跡預(yù)測和路徑規(guī)劃等后續(xù)步驟的可靠依據(jù)。
為了全面了解駕駛環(huán)境，感知系統(tǒng)涉及到許多視覺任務(wù)，例如目標(biāo)檢測和跟蹤、車道線檢測、語義和實例分割等。在這些感知任務(wù)中，3D目標(biāo)檢測是車輛感知系統(tǒng)中最不可或缺的任務(wù)之一。
3D目標(biāo)檢測旨在預(yù)測3D空間中關(guān)鍵目標(biāo)的位置、大小和類別，例如機動車、行人、騎自行車的人等。與僅在圖像上生成2D邊界框并忽略目標(biāo)與本車的實際距離信息的2D目標(biāo)檢測相比，3D目標(biāo)檢測側(cè)重于對真實世界3D坐標(biāo)系中目標(biāo)的定位和識別。
3D目標(biāo)檢測在現(xiàn)實世界坐標(biāo)中預(yù)測的幾何信息可以直接用于測量本車與關(guān)鍵目標(biāo)之間的距離，并進(jìn)一步幫助規(guī)劃行駛路線和避免碰撞。
3D目標(biāo)檢測方法隨著深度學(xué)習(xí)技術(shù)在計算機視覺和機器人領(lǐng)域的發(fā)展而迅猛發(fā)展?，F(xiàn)有的3D目標(biāo)檢測方法都試圖從特定方面解決3D目標(biāo)檢測問題，例如從特定傳感器類型，數(shù)據(jù)表示等，與其他類別的方法缺乏系統(tǒng)的比較。
因此綜合分析各種類型的3D目標(biāo)檢測方法的優(yōu)缺點，可以為相關(guān)研究人員提供一些參考?；诖四康?，本文全面回顧了自動駕駛應(yīng)用中的3D目標(biāo)檢測方法，并對不同方法進(jìn)行深入分析和系統(tǒng)比較。
與現(xiàn)有的綜述文章[5, 139, 215]相比，本文廣泛涵蓋了該領(lǐng)域的最新進(jìn)展，例如基于深度圖像的3D目標(biāo)檢測、自/半/弱監(jiān)督3D目標(biāo)檢測、端到端自動駕駛系統(tǒng)中的3D目標(biāo)檢測等。
與之前僅關(guān)注點云[88、73、338]、單目圖像[297、165]和多模態(tài)輸入[ 284]相比，我們的論文系統(tǒng)地研究了來自所有傳感器類型和大多數(shù)應(yīng)用場景的3D目標(biāo)檢測方法。
這項工作的主要貢獻(xiàn)可以總結(jié)如下：

• 我們從不同的角度全面回顧了3D目標(biāo)檢測方法，包括來自不同傳感器輸入的檢測（基于LiDAR、基于攝像頭和多模態(tài)）、時間序列檢測、標(biāo)簽高效檢測、以及3D目標(biāo)檢測在駕駛系統(tǒng)中的應(yīng)用。
• 我們從結(jié)構(gòu)和層次上總結(jié)了3D目標(biāo)檢測方法，對這些方法進(jìn)行了系統(tǒng)分析，并為不同類別方法的潛力和挑戰(zhàn)提供了有價值的見解。
• 對3D目標(biāo)檢測方法的綜合性能和速度進(jìn)行分析，確定多年來的研究趨勢，并為3D目標(biāo)檢測的未來方向提供深刻的見解。

本文的結(jié)構(gòu)安排如下：首先，第2節(jié)中介紹了3D目標(biāo)檢測問題的定義、數(shù)據(jù)集和評價指標(biāo)。然后，我們回顧和分析了基于LiDAR傳感器（第3節(jié)）、相機（第4節(jié)）和多模態(tài)數(shù)據(jù)輸入（第5節(jié)）。
接下來，我們在第6節(jié)中介紹利用時空數(shù)據(jù)的檢測方法，并在第7節(jié)中使用較少有標(biāo)簽數(shù)據(jù)的方法。我們隨后在第8節(jié)中討論3D目標(biāo)檢測在駕駛系統(tǒng)中的應(yīng)用。
最后，我們進(jìn)行速度和性能分析，對研究趨勢進(jìn)行了探討，并在第9節(jié)中展望3D目標(biāo)檢測的未來方向。分層結(jié)構(gòu)的分類如下圖所示。

3D目標(biāo)檢測是通過輸入傳感器數(shù)據(jù)，預(yù)測3D目標(biāo)的屬性信息的任務(wù)。如何表示3D目標(biāo)的屬性信息是關(guān)鍵，因為后續(xù)的預(yù)測和規(guī)劃需要這些信息。
大部分情況下，3D目標(biāo)被定義為一個立方體，(x,y,z)是立方體的中心坐標(biāo)，l,w,h是長寬高信息，delta是航向角，比如立方體在地平面的偏航角，class是3D目標(biāo)的類別。
vx、vy描述3D目標(biāo)在地面上沿x軸和y軸方向的速度。在工業(yè)應(yīng)用中，一個3D目標(biāo)的參數(shù)可以進(jìn)一步簡化為鳥瞰圖上一個長方體的4個角位置。

許多類型的傳感器都可以為3D目標(biāo)檢測提供原始數(shù)據(jù)，相機和LiDAR（激光雷達(dá)）傳感器是兩種最常采用的傳感器類型。相機價格便宜且易于使用，并且可以從某個角度捕捉場景信息。
相機產(chǎn)生圖像W×H×3用于3D目標(biāo)檢測，其中W和H是一幅圖像的寬高，每個像素有3個RGB通道。盡管價格便宜，但相機在用于3D目標(biāo)檢測方面存在內(nèi)在限制。首先，相機只捕捉外觀信息，不能直接獲取場景的3D結(jié)構(gòu)信息。
另一方面，3D目標(biāo)檢測通常需要在3D空間中進(jìn)行準(zhǔn)確定位，而從圖像估計的3D信息（例如深度）通常具有較大的誤差。此外，基于圖像的檢測很容易受到極端天氣和時間條件的影響。在夜間或霧天從圖像中檢測目標(biāo)比在晴天檢測要困難得多，這樣的自動駕駛系統(tǒng)無法保證魯棒性。
作為替代解決方案，LiDAR傳感器可以通過****一束激光束，然后測量其反射信息來獲得場景的細(xì)粒度3D結(jié)構(gòu)信息。一個LiDAR傳感器在一個掃描周期內(nèi)****光束并進(jìn)行多次測量可以產(chǎn)生一個深度圖像，每個深度圖的像素有3個通道，分別為球坐標(biāo)系中的深度r、方位角α和傾角φ。
深度圖像是激光雷達(dá)傳感器獲取的原始數(shù)據(jù)格式，可以通過將球坐標(biāo)轉(zhuǎn)換為笛卡爾坐標(biāo)進(jìn)一步轉(zhuǎn)換為點云。一個點云可以表示為N×3，其中N表示一個場景中的點數(shù)，每個點有3個xyz坐標(biāo)通道。
附加功能，例如反射強度，可以附加到每個點或深度圖像素。深度圖像和點云都包含由LiDAR傳感器直接獲取的準(zhǔn)確3D信息。因此，與相機相比，LiDAR傳感器更適合檢測3D空間中的目標(biāo)，并且LiDAR傳感器也更不易受時間和天氣變化的影響。
然而，LiDAR傳感器比攝像頭貴得多，這限制了在駕駛場景中的大規(guī)模應(yīng)用。3D目標(biāo)檢測圖解，見下圖：

旨在在圖像上生成2D邊界框的2D目標(biāo)檢測是計算機視覺中的一個基本問題。3D目標(biāo)檢測方法借鑒了2D目標(biāo)檢測方法的許多設(shè)計范式：proposal generation and refinement、anchors、NMS 等。
然而，從多方面來看，3D目標(biāo)檢測方法并不是2D目標(biāo)檢測方法對3D空間的簡單適配。

• 3D目標(biāo)檢測方法必須處理多樣化的數(shù)據(jù)。點云檢測需要新的算子和網(wǎng)絡(luò)來處理不規(guī)則的點數(shù)據(jù)，而點云和圖像的檢測需要特殊的融合機制。
• 3D目標(biāo)檢測方法通常利用不同的投影視圖來生成目標(biāo)預(yù)測結(jié)果。與從****圖檢測目標(biāo)的2D目標(biāo)檢測方法相反，3D方法必須考慮不同的視圖來檢測3D目標(biāo)，例如鳥瞰圖、點視圖、柱面視圖等。
• 3D目標(biāo)檢測對目標(biāo)在3D空間的準(zhǔn)確定位有很高的要求。分米級的定位誤差可能導(dǎo)致對行人和騎自行車的人等小目標(biāo)的檢測失敗，而在2D目標(biāo)檢測中，幾個像素的定位誤差可能仍然保持較高的IoU指標(biāo)（預(yù)測值和真值的IoU）。因此，不論是利用點云還是圖像進(jìn)行3D目標(biāo)檢測，準(zhǔn)確的3D幾何信息都是必不可少的。

室內(nèi)3D目標(biāo)檢測也是3D目標(biāo)檢測的一個分支，室內(nèi)數(shù)據(jù)集比如SUN RGB-D [247]，利用RGB-D和3D標(biāo)注信息重建房間結(jié)構(gòu)，包括門、窗、床、椅子等。室內(nèi)場景中的3D目標(biāo)檢測也是基于點云或圖像。然而，與室內(nèi)3D目標(biāo)檢測相比，駕駛場景中存在獨特的挑戰(zhàn)。

• 自動駕駛場景的檢測范圍遠(yuǎn)大于室內(nèi)場景。駕駛場景中的3D目標(biāo)檢測通常需要預(yù)測很大范圍內(nèi)的3D目標(biāo)，例如Waymo[250]中為150m×150m×6m，而室內(nèi)3D目標(biāo)檢測通常以房間為單位，而其中[54]大多數(shù)單人房間小于10m×10m×3m。那些在室內(nèi)場景中工作的時間復(fù)雜度高的方法在駕駛場景中可能無法表現(xiàn)出好的適應(yīng)能力。
• LiDAR和RGB-D傳感器的點云分布不同。在室內(nèi)場景中，點在掃描表面上分布相對均勻，大多數(shù)3D目標(biāo)在其表面上可以接收到足夠數(shù)量的點。而在駕駛場景中，大多數(shù)點落在LiDAR傳感器附近，而那些遠(yuǎn)離傳感器的3D目標(biāo)僅接收到少量點。因此，駕駛場景中的方法特別需要處理3D目標(biāo)的各種點云密度，并準(zhǔn)確檢測那些遙遠(yuǎn)和稀疏的目標(biāo)。
• 駕駛場景中的檢測對推理延遲有特殊要求。駕駛場景中的感知必須是實時的，以避免事故。因此，這些方法需要及時高效，否則它們將無法落地。

自動駕駛3D目標(biāo)檢測相關(guān)數(shù)據(jù)集較多，具體見下表。主要的數(shù)據(jù)集建立需要繼續(xù)干以下四件事：

• 增大數(shù)據(jù)規(guī)模。
• 增加數(shù)據(jù)多樣性，不只有白天夜晚，還要包括陰天、雨天、雪天、霧天等。
• 增加標(biāo)注類別，除了常用的機動車、行人、非機動車等，還應(yīng)包括動物，路上的障礙物等。
• 增加多模態(tài)數(shù)據(jù)，不只有點云和圖像數(shù)據(jù)，還有高精地圖、雷達(dá)數(shù)據(jù)、遠(yuǎn)程激光雷達(dá)、熱成像數(shù)據(jù)等。

未來的數(shù)據(jù)集應(yīng)該包括感知、預(yù)測、規(guī)劃、建圖等一整套數(shù)據(jù)，這樣可以為端到端的自動駕駛系統(tǒng)服務(wù)，而不僅僅是考慮一個3D目標(biāo)檢測任務(wù)。

針對3D目標(biāo)檢測的評價，一種是將2D任務(wù)的AP指標(biāo)擴(kuò)展到3D，比如KITTI就包括 AP-3D、AP-BEV指標(biāo)，分別用到預(yù)測值與真值的3D-IoU、BEV-IoU來衡量。其它比如基于中心距離的匹配，或者匈牙利匹配等。

另一種則通過下游任務(wù)來衡量，只有對下游任務(wù)（運動規(guī)劃）有幫助的檢測方法，才能在實際應(yīng)用中確保駕駛安全。包括PKL[230]和SDE[56]等工作。
不同評價指標(biāo)的利弊?；贏P的評價指標(biāo)[80,15,250]自然繼承了2D檢測的優(yōu)勢。然而，這些指標(biāo)忽略了檢測對駕駛安全的影響，而這在現(xiàn)實應(yīng)用中至關(guān)重要。
例如，在AP計算中，本車附近的目標(biāo)漏檢和本車遠(yuǎn)一點的目標(biāo)漏檢可能都只是一個漏檢，但在實際應(yīng)用中，近處的目標(biāo)漏檢實質(zhì)上比遠(yuǎn)處的目標(biāo)漏檢更危險。
因此，從安全駕駛的角度來看，基于AP的指標(biāo)可能不是最優(yōu)選擇。PKL[203]和SDE[56]通過考慮下游任務(wù)中檢測的影響，部分解決了這個問題，但在對這些影響建模時將引入額外的挑戰(zhàn)。
PKL[203]需要一個預(yù)先訓(xùn)練的運動規(guī)劃器來評估檢測性能，但預(yù)先訓(xùn)練的規(guī)劃器也有固有誤差，可能會使評估過程不準(zhǔn)確。SDE[56]需要重構(gòu)目標(biāo)邊界，這通常是復(fù)雜和具有挑戰(zhàn)性的。