R3LIVE：一個實時魯棒、帶有RGB顏色信息的激光雷達-慣性-視覺緊耦合系統(tǒng)（2）

B. Frame-to-map Visual-Inertial odometry

我們還考慮了 γs 和 cs 的測量噪聲：

結(jié)合(19)、(20)和(21)，我們得到真零殘差的一階泰勒展開式：

2）Frame-to-map VIO ESIKF更新：方程（22）構(gòu)成了的另一個觀測分布，它與來自IMU傳播的先驗分布相結(jié)合，得到的最大后驗（MAP）估計：

然后，我們執(zhí)行類似于（17）和（18）的狀態(tài)更新。這個幀到地圖 VIO ESIKF 更新（第 V-B1 部分到第 V-B2 部分）被迭代直到收斂。然后將收斂狀態(tài)估計用于：(1) 渲染地圖的紋理（第 V-C 部分）；(2) 更新當(dāng)前跟蹤點集 P 以供下一幀使用（Section V-D）；(3) 在 LIO 或 VIO 更新的下一幀中作為 IMU 傳播的起點

C. 渲染全局貼圖的紋理

在frame-to-map VIO更新之后，我們有了當(dāng)前圖像的精確位姿，然后我們執(zhí)行渲染函數(shù)來更新地圖點的顏色。

D. Update of the tracking points of VIO subsystem

紋理渲染完成后，我們對跟蹤點集 P 進行更新。不落入Ik。其次，我們將 ζ 中的每個點投影到當(dāng)前圖像 Ik，如果附近沒有其他跟蹤點（例如在 50 個像素的半徑內(nèi)），則將其添加到 P。

VI. 實驗與結(jié)果分析

A．Equipment setup

the onboard DJI manifold-2c5 computation platform (equipped with an Intel i7-8550u CPU and 8 GB RAM), a FLIR Blackfly BFS-u3-13y3c global shutter camera, and a LiVOX AVIA6 LiDAR. The FoV of the camera is 82.9°*66.5°, while the FoV of the LiDAR is 70.4°* 77.2°.

B. Experiment-1: Robustness evaluation in simultaneously LiDAR degenerated and visual texture-less environments

如圖 7 所示，我們的傳感器穿過狹窄的“T”形通道，同時偶爾面對側(cè)壁。當(dāng)面對僅施加單個平面約束的墻壁時，眾所周知，LiDAR 對于完整姿態(tài)估計會退化。同時，白色墻壁上的視覺紋理非常有限（圖 7（a）和圖 7（c）），尤其是墻壁，它只有光照變化。這種場景對于基于 LiDAR 和基于視覺的 SLAM 方法都具有挑戰(zhàn)性。

圖 8 顯示了我們估計的姿勢，通過“wall-1”和“wall-2”的階段分別用藍色和黃色陰影表示。估計的協(xié)方差也顯示在圖 8 中，它在整個估計軌跡上有界，表明我們的估計質(zhì)量在整個過程中是穩(wěn)定的。傳感器移動到起始點，在那里使用 ArUco 標記板獲取起始和結(jié)束姿勢之間的真實相對姿勢。與地面真實端位姿相比，我們的算法旋轉(zhuǎn)漂移 1.62°，平移漂移 4.57 厘米。

C. Experiment-2: High precision mapping large-scale indoor & outdoor urban environment

我們在香港科技大學(xué) (HKUST) 校園內(nèi)以不同的行駛軌跡（即 Traj 1-4）收集了 4 次數(shù)據(jù)，它們的總長度分別為 1317、1524、1372 和 1191 米。這些軌跡的鳥瞰圖（即在 X′Y 平面上的投影）如圖 10 所示，它們的高度變化如圖 11 所示。沒有任何額外的處理（例如閉環(huán)），所有這四個軌跡都可以閉環(huán)（見圖9（e））。使用放置在起點的 ArUco 標記板，里程計漂移如表 II 所示，這表明我們提出的方法具有高精度，在長軌跡和復(fù)雜環(huán)境中漂移很小。最后，我們在圖 9 中的“Traj-1”中展示了重建的地圖。項目頁面上提供了更多可視化結(jié)果。

D. Experiment-3: Quantitative evaluation of precision using D-GPS RTK

我們將 R3LIVE 估計的軌跡與兩種不同的配置（“R3LIVE-HiRES”和“R3LIVERT”，見表 III）、“LVI-SAM”（為 Livox Avia LiDAR 修改其 LiDAR 前端）、“R2LIVE”進行比較 [12]、“VINSMono”（IMU+相機）[26]、“Fast-LIO2”（IMU+LiDAR）[22] 與圖 12 中的真實情況，我們可以看到我們估計的軌跡最符合 兩個序列中的真實情況。為了進行更多的定量比較，我們計算了所有可能的長度為 (50,100,150,...,300) 米的子序列的相對旋轉(zhuǎn)誤差 (RPE) 和相對平移誤差 (RTE) [27]，如表 III 所示。

E. Run time analysis

我們調(diào)查了我們系統(tǒng)在兩個不同平臺上的所有實驗的平均時間消耗：臺式機（具有 Intel i7-9700K CPU 和 32GB RAM）和無人機機載計算機（“OB”，具有 Intel i7-8550u CPU 和 8GB 內(nèi)存）。詳細統(tǒng)計數(shù)據(jù)列于表四。我們的 VIO 子系統(tǒng)的時間消耗受兩個主要設(shè)置的影響：圖像分辨率和點云圖分辨率（“Pt res”）。

VII. 應(yīng)用

A. Mesh reconstruction and texturing

在 R3LIVE 實時重建彩色 3D 地圖的同時，我們還開發(fā)了軟件實用程序來離線對重建的地圖進行網(wǎng)格劃分和紋理化（見圖 13）。對于網(wǎng)格劃分，我們使用了在 CGAL [29] 中實現(xiàn)的 Delaunay 三角剖分和圖切割 [28]。網(wǎng)格構(gòu)建后，我們使用頂點顏色對網(wǎng)格進行紋理化，由我們的 VIO 子系統(tǒng)渲染。

我們開發(fā)的實用程序還可以將 R3LIVE 的彩色點圖或離線網(wǎng)格圖導(dǎo)出為常用的文件格式，如“pcd”、“ply”、“obj”等。因此，R3LIVE 重建的地圖可以通過 各種 3D 軟件，包括但不限于 CloudCompare [30]、Meshlab [31]、AutoDesk 3ds Max 等。

B. Toward various of 3D applications

借助開發(fā)的軟件實用程序，我們可以將重建的 3D 地圖導(dǎo)出到 Unreal Engine 19 以啟用一系列 3D 應(yīng)用程序。例如，在圖 14 中，我們使用 AirSim [32] 構(gòu)建了汽車和無人機模擬器，在圖 15 中，我們使用重建的地圖為臺式 PC 和移動平臺開發(fā)視頻游戲。有關(guān)我們演示的更多詳細信息，我們建議讀者在 YoutuBe 上觀看我們的視頻。