綜述 | 基于特征的視覺同步定位和建圖（2）

在本節(jié)中，將概述最先進(jìn)的基于特征的視覺SLAM系統(tǒng)。如前所述，特征可以具有不同的層次：低級特征、中級特征或高級特征。視覺 SLAM 系統(tǒng)可以基于使用一種或兩種或多種特征類型的混合，這將在以下部分中討論?；谔卣鞯姆椒ㄗ盍钊藫?dān)憂的問題是它們在沒有特征的情況下會(huì)失敗。無論它們在特征豐富的環(huán)境中可實(shí)現(xiàn)的高性能和準(zhǔn)確性如何，如果所研究的環(huán)境缺乏視覺 SLAM 所依賴的特征，無論是點(diǎn)、平面還是物體，定位都會(huì)失敗，并且機(jī)器人周圍環(huán)境的估計(jì)也不會(huì)反映真實(shí)的結(jié)構(gòu)。在下文中，視覺 SLAM 系統(tǒng)根據(jù)系統(tǒng)中使用的特征類型進(jìn)行分類和討論。3.1 基于低級特征的方法低級特征是在紋理場景中大量可觀察的幾何基元。絕大多數(shù)現(xiàn)有的視覺 SLAM 系統(tǒng)，例如 [22, 62, 70, 91, 127] 在整個(gè)定位和建圖過程中都利用了這些特征，并在準(zhǔn)確性和效率方面達(dá)到了非常高的成熟度和效率。但是，如果機(jī)器人運(yùn)行的環(huán)境是無紋理的或缺乏系統(tǒng)可以跟蹤的特征，則此類方法會(huì)由于缺乏特征而失敗，因此最近的 SLAM 方法開始同時(shí)考慮使用不同級別的特征。3.1.1 多種特征類型以提高魯棒性基于特征的視覺 SLAM 系統(tǒng)依賴于單一類型的特征，當(dāng)這些特征在所運(yùn)行的環(huán)境中不存在時(shí)，很容易出現(xiàn)故障。為了規(guī)避這個(gè)問題，[99] 中提出的工作建議使用點(diǎn)和線一起在紋理不佳的環(huán)境中執(zhí)行單目 SLAM。線由它們的端點(diǎn)參數(shù)化，以促進(jìn)與基于點(diǎn)的方法的集成。在沒有點(diǎn)特征的情況下，這項(xiàng)工作提出了一種僅使用線來初始化系統(tǒng)的新技術(shù)。在 [47] 中也采用了相同的地標(biāo)集來執(zhí)行立體 SLAM。立體視覺里程計(jì)用于跟蹤點(diǎn)和線，然后使用高斯牛頓優(yōu)化通過最小化相應(yīng)特征的重投影誤差來估計(jì)相機(jī)的運(yùn)動(dòng)。在[59]中，點(diǎn)特征的觀察與激光掃描相結(jié)合，并用于因子圖中來估計(jì)機(jī)器人的姿態(tài)。提出了一種結(jié)合了占用網(wǎng)格地圖和點(diǎn)特征的新地圖表示。通過將觀察到的特征與地圖中的地標(biāo)相匹配，可以有效地實(shí)現(xiàn)閉環(huán)和定位。因此，在估計(jì)機(jī)器人在環(huán)境中的軌跡時(shí)采用何種類型的特征的靈活性極大地有利于視覺 SLAM 的魯棒性。3.1.2 促進(jìn)實(shí)時(shí)性能低級特征生成的地圖是稀疏的，卻需要大量的計(jì)算和內(nèi)存資源。這是因?yàn)闄z測、提取和匹配特征的過程是 SLAM 流程中計(jì)算成本最高的模塊之一。為了實(shí)現(xiàn)實(shí)時(shí)性能，一些系統(tǒng) [27, 94, 97, 134] 大量利用并行性來執(zhí)行最初在 PTAM [65] 中提出的跟蹤和映射。兩個(gè)線程同時(shí)運(yùn)行以定位機(jī)器人并映射其周圍環(huán)境 [65, 97]。與跟蹤不同，在大多數(shù)繁重計(jì)算發(fā)生的映射線程中延遲是可以容忍的。為了進(jìn)一步減少計(jì)算量，[94] 限制了要提取的特征數(shù)量，并使用了一個(gè)局部地圖，通過該地圖進(jìn)行特征匹配。為了最大化并行性，使用了一個(gè)單獨(dú)的線程來執(zhí)行循環(huán)關(guān)閉，并提出了一個(gè)同步過程，其中只有當(dāng)點(diǎn)當(dāng)前沒有被另一個(gè)線程處理時(shí)，才授予線程訪問地圖點(diǎn)。在[27]中，采用了三個(gè)并行模塊；用于特征檢測、提取和匹配的場景流，用于攝像機(jī)運(yùn)動(dòng)估計(jì)的視覺里程計(jì)，以及用于閉環(huán)和全局一致性的全局 SLAM。定位和建圖也可以由多個(gè)機(jī)器人車輛以分布式方式完成，同時(shí)利用 [134] 中提出的并行性，其中跟蹤和圖像采集是輕量級過程，在所有 MAV 上并行運(yùn)行，由于其計(jì)算需求，建圖時(shí)由功能強(qiáng)大的計(jì)算機(jī)在機(jī)外完成。最近在 [102] 中提出了一個(gè)單目 SLAM 系統(tǒng)，其中 EKF 和 BA 一起被利用來實(shí)現(xiàn)實(shí)時(shí)的魯棒性能。ORB 特征和慣性測量用于基于 EKF 的視覺慣性里程計(jì) (VIO) 框架，該框架能夠以最小的延遲估計(jì)相機(jī)運(yùn)動(dòng)。為了進(jìn)一步幫助實(shí)時(shí)性能，并非所有 ORB 特征都是從 VIO 框架中的視覺幀中提取的，該框架對所有傳入幀進(jìn)行操作。此外，為了規(guī)避 EKF 導(dǎo)致的估計(jì)誤差，使用 BA 估計(jì)的全局一致地圖會(huì)根據(jù)選定的關(guān)鍵幀頻繁更新，并反饋到 EKF 以糾正任何估計(jì)錯(cuò)誤。選定的關(guān)鍵幀會(huì)經(jīng)過另一輪特征提取和匹配，因?yàn)闉?VIO 提取的特征不足以構(gòu)建魯棒的地圖。閉環(huán)在并行線程中運(yùn)行，以通過執(zhí)行位置識別和 ORB 特征匹配來糾正累積的錯(cuò)誤。一旦檢測到循環(huán)，就會(huì)執(zhí)行位姿圖優(yōu)化以及 GBA。由于視覺和慣性測量的融合，該方法對突然運(yùn)動(dòng)具有魯棒性，并且能夠解決尺度模糊問題。它還結(jié)合了 EKF 和 BA 的優(yōu)點(diǎn)，分別實(shí)現(xiàn)了實(shí)時(shí)性能和魯棒性。圖 8 總結(jié)了可用于加速定位和建圖過程并實(shí)時(shí)完成估計(jì)的技術(shù)。3.1.3 解決尺度不確定性當(dāng)使用單目相機(jī)時(shí)，SLAM 系統(tǒng)需要處理固有的尺度不確定性挑戰(zhàn)，這是由于難以從單幀中辨別深度而導(dǎo)致的。[127] 中提出了一種基于 EKF 的方法，其中通過融合單目視覺、超聲波和大氣壓力測量來補(bǔ)償尺度不確定性和間歇性特征缺失。在 [78] 中還看到了多個(gè)傳感器的融合，其中使用視覺、慣性和距離測量來實(shí)現(xiàn) SLAM 的目標(biāo)。[82] 中的尺度不確定性被雙視圖初始化規(guī)避。根據(jù)它們的相對旋轉(zhuǎn)，歐氏距離，以及它們之間的時(shí)間差選擇一對圖像。然后，根據(jù)這些幀之間的匹配特征，使用對極幾何來估計(jì)尺度。在另一種單目 SLAM 方法 [142] 中，ORB 特征的深度是根據(jù)它們與場景中識別的消失點(diǎn)的距離來計(jì)算的。此外，在[26]中使用逆深度參數(shù)化來恢復(fù)場景的規(guī)模。圖 8 促進(jìn)實(shí)時(shí)性能的技術(shù)雖然 RGB-D 和立體 SLAM 不需要，但采用一種技術(shù)來解析地圖的比例對于單目 SLAM 是必不可少的。圖 9 說明了可用于解決尺度不確定性的技術(shù)。3.1.4 對特征檢測/關(guān)聯(lián)失敗的恢復(fù)能力在環(huán)境中觀察或匹配低級特征失敗相當(dāng)于在基于特征的視覺 SLAM 系統(tǒng)的無紋理環(huán)境中操作失敗。在這兩種情況下，系統(tǒng)都缺乏測量約束，導(dǎo)致性能嚴(yán)重下降。在傳感器突然運(yùn)動(dòng)或場景中存在動(dòng)態(tài)的情況下，視覺系統(tǒng)無法檢測或匹配幀之間的特征。[122] 中描述的原始 EKF-SLAM 的限制之一是它無法處理突然運(yùn)動(dòng)。為了克服這個(gè)問題，[73] 中提出的方法在過濾器的兩個(gè)階段都采用了視覺輸入。預(yù)測和更新。光流和對極幾何用于估計(jì)相機(jī)的狀態(tài)轉(zhuǎn)換。在預(yù)測階段使用圖像使系統(tǒng)對突然運(yùn)動(dòng)和不頻繁的數(shù)據(jù)采集具有魯棒性。這也消除了對動(dòng)態(tài)模型的需求，并帶來了更快、更高效的性能。盡管這種 EKF 變體在特定情況下提高了 SLAM 的魯棒性和效率，但如果場景中沒有特征，它仍然會(huì)失敗。在 [100] 中提出了 EKF-SLAM 的另一種變體，IMU 測量用于預(yù)測階段，RGB-D 圖像用于更新階段。為了實(shí)現(xiàn)全局一致性，執(zhí)行了位姿圖優(yōu)化。IMU 測量的融合使系統(tǒng)能夠在無紋理和動(dòng)態(tài)環(huán)境中成功運(yùn)行。ORB-SLAM2 [91] 是最先進(jìn)的視覺 SLAM 系統(tǒng)，它在標(biāo)準(zhǔn) CPU 上運(yùn)行時(shí)僅基于 ORB 特征實(shí)時(shí)執(zhí)行跟蹤、映射和閉環(huán)。由于對視覺特征的依賴，ORB-SLAM2 在場景中沒有 ORB 特征的情況下失敗。為此，在 [15] 中提出了里程計(jì)和 ORB-SLAM2 的緊密耦合融合，其中運(yùn)動(dòng)模型被里程計(jì)取代，這支持在場景中無法檢測到任何特征時(shí)的估計(jì)。類似地，[62] 中提出的方法利用慣性和視覺測量的緊密耦合融合來執(zhí)行視覺慣性里程計(jì)。然后通過閉環(huán)檢測和全局位姿圖優(yōu)化來實(shí)現(xiàn)全局一致性。ORB-SLAM2 的另一種變體可以在 [121] 中找到，其中 ORB 特征被學(xué)習(xí)的點(diǎn)特征取代，稱為 GCNv2。結(jié)果表明，所提出的方法在大多數(shù)情況下具有與 ORB-SLAM2 相當(dāng)?shù)男阅?，但在快速旋轉(zhuǎn)的情況下表現(xiàn)略好。圖 9 解決尺度模糊的技術(shù)場景中的動(dòng)態(tài)也可能導(dǎo)致無法在后續(xù)幀中關(guān)聯(lián)特征。[128] 中提出的工作證明了在動(dòng)態(tài)環(huán)境中成功執(zhí)行 RGB-D SLAM 的能力，同時(shí)僅觀察低級特征。使用基本矩陣，提取屬于場景移動(dòng)部分的特征點(diǎn)。然后，使用高效的 PnP 估計(jì)相機(jī)在環(huán)境中的位姿。然后通過BA進(jìn)一步優(yōu)化重投影誤差。所提出的方法在實(shí)際實(shí)驗(yàn)中成功使用，但僅在連續(xù)幀之間存在小視差和超過 24 點(diǎn)匹配的假設(shè)下。因此，該方法在存在突然運(yùn)動(dòng)且環(huán)境中沒有低級特征的情況下工作會(huì)失敗。為了提高視覺 SLAM 在動(dòng)態(tài)環(huán)境中的性能，[21] 中提出的方法采用了稀疏運(yùn)動(dòng)去除方案。貝葉斯濾波器用于計(jì)算連續(xù)幀之間的相似性和差異性以確定動(dòng)態(tài)特征。消除這些特征后，場景被輸入經(jīng)典的視覺 SLAM 方法來執(zhí)行姿態(tài)估計(jì)。這種方法僅適用于場景中存在特征的情況，否則會(huì)失敗。在 [13] 中發(fā)現(xiàn)了另一種對動(dòng)態(tài)場景中發(fā)生的錯(cuò)誤數(shù)據(jù)關(guān)聯(lián)具有魯棒性的方法。該方法基于一種新穎的過濾器，其中姿勢被編碼為雙四元數(shù)。ORB 特征觀察和地圖地標(biāo)的關(guān)聯(lián)是通過基于光流的方法完成的，這使其對場景中的動(dòng)態(tài)具有魯棒性。總之，觀察場景中缺乏特征、突然的相機(jī)運(yùn)動(dòng)和動(dòng)態(tài)是無法執(zhí)行數(shù)據(jù)關(guān)聯(lián)的主要原因。文獻(xiàn)中用于解決這些問題的一些技術(shù)包括使用多個(gè)傳感器來觀察場景中的不同信息，并消除涉及動(dòng)態(tài)的觀察。表 2 提供了回顧過的基于特征的低級方法的實(shí)現(xiàn)細(xì)節(jié)。3.2 基于特征的中級方法中級特征是在環(huán)境中觀察到的平面或斑點(diǎn)。在難以觀察低級特征的無紋理環(huán)境中，使用諸如地標(biāo)之類的特征可以提高 SLAM 性能；以走廊為例。為了觀察這些特征，采用了模型擬合方法。因此，在估計(jì)精度和需要從環(huán)境中計(jì)算準(zhǔn)確的模型的時(shí)間之間存在權(quán)衡。表 2 低級基于特征的方法采用的實(shí)現(xiàn)選擇FG 因子圖、PG 位姿圖、BA 束調(diào)整、EKF 擴(kuò)展卡爾曼濾波器、MAP 最大后驗(yàn)、VT 詞匯樹、PF 粒子濾波器、FM 特征匹配、BBW 二進(jìn)制詞袋、GN Gauss Newton、LM Levenberg Marquardt、FF 第一幀、PM 先驗(yàn)圖、SI 立體初始化、EG 極線幾何、IDP 逆深度參數(shù)化、Odom Odometry、SBI 小模糊圖像重定位、LSO 最小二乘優(yōu)化、IMI 圖像矩不變量 - 表示有關(guān)相應(yīng)元素的實(shí)現(xiàn)細(xì)節(jié)/block 沒有提供單獨(dú)使用這些特征并不常見，因?yàn)閷⑺鼈兣c低級和高級特征融合會(huì)產(chǎn)生更好的準(zhǔn)確性，如 Sect. 3.4.在 [113] 中，提出了一種僅基于 RGB-D 數(shù)據(jù)的 SLAM 方法。使用代表墻壁和地板的平面構(gòu)建環(huán)境的 3D 地圖，同時(shí)從場景中移除所有其他對象。RANSAC 用于估計(jì)平面表面，然后通過估計(jì)它們的法線并提取相應(yīng)的凸面來對其進(jìn)行細(xì)化。然后，使用 l0 范數(shù)最小化算法來維護(hù)極有可能表示墻壁或地板的平面，同時(shí)最小化包含較小的平面。使用這種方法，可以重建墻壁和地板的地圖，如圖 10 所示。但是，地圖中沒有其他特征，這使得它無法用于大多數(shù) SLAM 應(yīng)用程序。這激發(fā)了考慮高級特征的需要，如下一節(jié)所述。3.3 基于高級特征的方法當(dāng)期望機(jī)器人執(zhí)行需要場景理解的任務(wù)時(shí)，例如在災(zāi)難后搜索受害者、構(gòu)建有意義的地圖以及抓取或操作特定對象時(shí)，感知高級特征是至關(guān)重要的。這對于使用低級特征重建的地圖來說是非常具有挑戰(zhàn)性的，因?yàn)樗鼈內(nèi)狈Ρ磉_(dá)性的表示，這使得人類更難理解 [39, 46]。高級特征添加了有關(guān)場景結(jié)構(gòu)的關(guān)鍵信息，并傳達(dá)了重建地圖每個(gè)部分的語義。它們是特定于環(huán)境的，并且可能在大小、形狀和動(dòng)態(tài)方面有所不同。在城市規(guī)模的應(yīng)用程序中，可能的地標(biāo)包括樹木、建筑物、街道或人行道。另一方面，家具、辦公用品和家用電器可以作為室內(nèi)應(yīng)用的地標(biāo)。在本節(jié)中，將深入討論基于高級特征的 SLAM 方法中數(shù)據(jù)關(guān)聯(lián)的不同方法。然后，將介紹在場景中實(shí)現(xiàn)實(shí)時(shí)性能和處理動(dòng)態(tài)的技術(shù)。3.3.1 將高級特征觀察與地標(biāo)相關(guān)聯(lián)盡管檢測到高級特征并進(jìn)行語義注釋，但在環(huán)境中存在同一對象類別的多個(gè)實(shí)例的情況下，數(shù)據(jù)關(guān)聯(lián)在高級特征中提出了基本挑戰(zhàn)?；谒教卣鞯囊曈X SLAM 系統(tǒng) [88]。圖 10 基于平面特征的重建地圖示意圖在 [95] 中，對象在類別級別而不是實(shí)例級別被檢測和表征。這是基于這樣一個(gè)事實(shí)，即一個(gè)類中的所有對象都有共同的 3D 點(diǎn)，而不管它們的類別如何。這些點(diǎn)稱為關(guān)鍵點(diǎn)，用于區(qū)分同一類的不同類別。輸入的單目幀被傳遞到目標(biāo)檢測器 YOLO9000 [103]，生成的邊界框中的 3D 關(guān)鍵點(diǎn)通過另一個(gè)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行定位。使用 Ceres 求解器優(yōu)化形狀和姿勢。不是在每一幀上執(zhí)行對象和關(guān)鍵點(diǎn)檢測，而是在連續(xù)幀中跟蹤對象，從而提高效率和速度。[45] 中提出了另一種新穎的數(shù)據(jù)關(guān)聯(lián)方法，用于在先驗(yàn)地圖中定位機(jī)器人。首先，為每個(gè)圖像計(jì)算查詢圖，其中頂點(diǎn)表示對象的類和質(zhì)心，頂點(diǎn)之間的無向邊表示滿足接近要求。然后通過使用它們之間的歐幾里德距離連接來自連續(xù)圖像的頂點(diǎn)來創(chuàng)建所有圖像的合并圖。彼此太近的頂點(diǎn)被合并以避免重復(fù)。第二步是為每個(gè)頂點(diǎn)生成隨機(jī)游走描述符。也就是說，一個(gè) n×m 矩陣包含 n 次隨機(jī)游走中 m 個(gè)訪問過的頂點(diǎn)的標(biāo)簽。第三，查詢圖將基于相似度得分與全局?jǐn)?shù)據(jù)庫圖相匹配。兩個(gè)頂點(diǎn)的相似度分?jǐn)?shù)表示它們描述符中相同行的數(shù)量。然后使用最高的 k 個(gè)匹配來本地化數(shù)據(jù)庫圖中的查詢圖。在[69]中，語義標(biāo)記的對象及其相互關(guān)系被用于建立輸入單目幀之間的對應(yīng)關(guān)系的過程。首先將 RGB 幀傳遞給 Faster R-CNN 以檢測對象。然后，通過首先生成沿線的多個(gè)長方體來計(jì)算連續(xù)圖像之間的變換，這些長方體由相機(jī)中心和邊界框的中心形成，并將它們投影到檢測到的邊界框上。長方體的生成是在離散的距離和角度上完成的。之后，執(zhí)行坐標(biāo)下降以最小化檢測到的邊界框的角與每個(gè)長方體在圖像平面中的投影之間的差異。然后刪除多余的長方體。然后將剩余的每個(gè)長方體用作種子以生成場景，該場景是一組長方體，每個(gè)長方體對應(yīng)于檢測到的邊界框，基于上下文約束。為了找到生成的場景集之間的對應(yīng)關(guān)系，使用了基于采樣的方法。基于語義標(biāo)簽搜索每對場景的對應(yīng)關(guān)系。從每對中挑選三個(gè)對應(yīng)關(guān)系，并為每個(gè)場景構(gòu)建參考框架。相應(yīng)地計(jì)算場景之間的變換，并根據(jù)剩余對應(yīng)關(guān)系使用計(jì)算出的變換擬合的好壞進(jìn)行評分。然后使用具有最高等級的樣本來估計(jì)相機(jī)姿勢之間的轉(zhuǎn)換。在 [24] 中，如果在多個(gè)幀中觀察到相同的對象片段，則生成對象假設(shè)，并使用有助于閉環(huán)的 3D 特征描述符表示。計(jì)算當(dāng)前對象與地圖中對象之間的內(nèi)部對應(yīng)關(guān)系，然后，將對象與實(shí)現(xiàn)最高對應(yīng)數(shù)量的假設(shè)相關(guān)聯(lián)。如果對應(yīng)的數(shù)量低于閾值，則添加新的對象表示。假設(shè)環(huán)境中只有一個(gè)或幾個(gè)對象類別的靜態(tài)實(shí)例。使用 OmniMapper [124] 計(jì)算基于里程計(jì)和 ICP 的機(jī)器人姿態(tài)的先驗(yàn)估計(jì)?；诖耍?dāng)前幀的片段被投影到與所有先前分割的對象的公共參考框架中。每個(gè)段的質(zhì)心與地圖中最近的段質(zhì)心匹配。為了驗(yàn)證匹配，比較當(dāng)前段的邊界框和與之匹配的段的邊界框。如果邊界框之間沒有足夠的重疊，則初始化一個(gè)新對象。最終的對象模型是通過在根據(jù)相對相機(jī)位姿進(jìn)行轉(zhuǎn)換后聚合所有相應(yīng)的片段來創(chuàng)建的。然后將對象模型和機(jī)器人位姿之間的空間約束添加到 SLAM 系統(tǒng)中。在 [88] 中，SLAM 和數(shù)據(jù)關(guān)聯(lián)被視為緊密耦合的問題，并提出了一種新方法來同時(shí)估計(jì)機(jī)器人的位置并將其觀察結(jié)果與地標(biāo)相關(guān)聯(lián)。后端方法用于聯(lián)合解決目標(biāo)檢測和 SLAM 問題。物體被檢測到后，由其從RGB-D數(shù)據(jù)中獲得的點(diǎn)云的質(zhì)心來表示。數(shù)據(jù)關(guān)聯(lián)和環(huán)境中地標(biāo)的總數(shù)都不是先驗(yàn)已知的。因此引入了基于狄利克雷過程的概率模型來建立適當(dāng)?shù)臄?shù)據(jù)關(guān)聯(lián)。總體而言，建立了一個(gè)混合整數(shù)非線性問題來估計(jì)機(jī)器人的姿態(tài)、地標(biāo)位置和給定機(jī)器人的相對姿態(tài)和觀察值的數(shù)據(jù)關(guān)聯(lián)。在存在同一對象類別的多個(gè)實(shí)例的情況下，最常見的數(shù)據(jù)關(guān)聯(lián)方法是 [23] 中提出的距離閾值。所提出的分布式 SLAM 框架中的每個(gè)機(jī)器人都通過基于視覺和里程計(jì)測量的 OmniMapper [124] 執(zhí)行 SLAM。每個(gè)輸入的 RGB 圖像都被傳遞到 YOLO 對象檢測器。檢測到的被分割的對象，在點(diǎn)云中的PFHRGB 特征和相應(yīng)的模型被提取和匹配。如果檢測到至少 12 個(gè)對應(yīng)關(guān)系，則執(zhí)行廣義迭代最近點(diǎn) (GICP) [110] 以計(jì)算對象的精細(xì)姿勢。然后通過在距離閾值內(nèi)搜索相同檢測到的對象類別的實(shí)例來執(zhí)行數(shù)據(jù)關(guān)聯(lián)。圖 11 總結(jié)了文獻(xiàn)中發(fā)現(xiàn)的執(zhí)行高級特征數(shù)據(jù)關(guān)聯(lián)的主要方法。3.3.2 促進(jìn)實(shí)時(shí)性能執(zhí)行實(shí)時(shí)定位和映射對于一些機(jī)器人任務(wù)非常關(guān)鍵，尤其是那些在惡劣環(huán)境中執(zhí)行的搜索和救援任務(wù)。然而，SLAM流程中某些模塊的處理時(shí)間，例如對象檢測和分割，超出了這個(gè)范圍。在本節(jié)中，重點(diǎn)將專注于用于促進(jìn)高級基于特征的 SLAM 方法的實(shí)時(shí)性能的技術(shù)。[95] 中提出的工作建議不對所有輸入幀執(zhí)行目標(biāo)檢測。相反，在關(guān)鍵幀中檢測到對象后，會(huì)在連續(xù)幀中對其進(jìn)行跟蹤，這大大減少了處理數(shù)據(jù)所需的時(shí)間。出于同樣的目的，[24] 中提出的系統(tǒng)通過將場景劃分為平面和非平面（對象）段來對場景進(jìn)行預(yù)處理。移除平面線段后，對象線段會(huì)被細(xì)化并與地圖中已有的地標(biāo)相關(guān)聯(lián)。使用二次曲線表示對象是一種替代技術(shù)，可以在視覺 SLAM 系統(tǒng)中使用語義標(biāo)記的地標(biāo)來減少計(jì)算量。[93] 中提出的工作使用對象檢測器作為傳感器，其中檢測到的邊界框用于識別表示相應(yīng)對象的二次曲線的參數(shù)。二次曲線提供關(guān)于對象大小、位置和方向的信息，編碼為十個(gè)獨(dú)立參數(shù)。提出了一種幾何誤差公式來解釋物體檢測的空間不確定性，例如由遮擋引起的。使用二次曲線而不是詳細(xì)的對象模型可以提高系統(tǒng)的速度，但會(huì)以重建在廣泛應(yīng)用中有用的信息豐富的地圖為代價(jià)。圖 12 提供了有助于提高基于特征的高級視覺SLAM 系統(tǒng)效率的討論技術(shù)的插圖。圖 11 高級特征數(shù)據(jù)關(guān)聯(lián)技術(shù)的圖解3.3.3 處理場景中的動(dòng)態(tài)大多數(shù) SLAM 系統(tǒng)是在不切實(shí)際的假設(shè)環(huán)境是靜態(tài)的情況下開發(fā)的。文獻(xiàn)中只提出了少數(shù)考慮場景動(dòng)態(tài)的系統(tǒng)。這些系統(tǒng)中的大多數(shù)檢測觀察場景的非靜止部分，將其消除，然后根據(jù)剩余的靜態(tài)環(huán)境執(zhí)行 SLAM。這種方法的一個(gè)例子可以在[5]中找到，其中移動(dòng)物體被跟蹤，靜止物體被用來生成被調(diào)查環(huán)境的靜態(tài)地圖。使用激光掃描儀進(jìn)行觀察，并使用多級 RANSAC 方法進(jìn)行數(shù)據(jù)關(guān)聯(lián)。不同的是，[137] 中提出的工作使用長方體作為對象的表示，其中提出了對象 SLAM 系統(tǒng)。該系統(tǒng)依賴于來自單目相機(jī)的觀察，并利用場景中的動(dòng)態(tài)對象通過將運(yùn)動(dòng)模型約束添加到用于解決優(yōu)化問題的多視圖 BA 公式來改進(jìn)定位。在連續(xù)幀中跟蹤屬于它們的對象和特征點(diǎn)，估計(jì)并使用運(yùn)動(dòng)模型來提高軌跡和地圖估計(jì)的準(zhǔn)確性。利用動(dòng)態(tài)對象的運(yùn)動(dòng)模型而不是忽略它們會(huì)對系統(tǒng)施加額外的約束，從而提高估計(jì)的準(zhǔn)確性。表 3 提供了前幾節(jié)中所有回顧過的基于特征的高級方法的總結(jié)。3.4 混合基于特征的方法在前幾節(jié)中，討論和分析了采用單一類型特征的 SLAM系統(tǒng)。每個(gè)級別的特征都通過一種獨(dú)特的方式增強(qiáng)了圖12中SLAM的結(jié)果。表 3 高級基于特征的 SLAM 方法采用的實(shí)現(xiàn)選擇- 表明關(guān)于未提供相應(yīng)的元素/塊例如，基于觀察低級特征的定位方法在準(zhǔn)確性和效率方面已經(jīng)達(dá)到了很高的成熟度。然而，他們產(chǎn)生的地圖是高度稀疏的，沒有任何語義指示。利用場景中的中級特征（例如平面）可以在無紋理環(huán)境圖12通過基于高級特征的視覺 SLAM 方法實(shí)現(xiàn)實(shí)時(shí)性能的技術(shù)中獲得更高的重建密度和更強(qiáng)的魯棒性。為了創(chuàng)建人類可以輕松感知的有意義的地圖，最近的 SLAM 方法有效地利用了新興的對象檢測技術(shù)，并在整個(gè)定位和映射過程中采用了語義標(biāo)記的觀察。為了充分利用場景中可以視覺觀察到的內(nèi)容并增強(qiáng)其整體結(jié)果，SLAM 系統(tǒng)最近開始在兩個(gè)或更多級別上使用特征，如本節(jié)所述。在本節(jié)中，將回顧采用多層次特征的基于特征的視覺 SLAM 方法。審查的系統(tǒng)根據(jù)用于執(zhí)行 SLAM 的功能分為三類；低級和中級基于特征的方法，低級和高級基于特征的方法，以及低級、中級和高級基于特征的方法。表 4 總結(jié)了審查過的方法所采用的實(shí)施選擇。