R3LIVE：一個(gè)實(shí)時(shí)魯棒、帶有RGB顏色信息的激光雷達(dá)-慣性-視覺緊耦合系統(tǒng)（2）

B. Frame-to-map Visual-Inertial odometry

我們還考慮了 γs 和 cs 的測(cè)量噪聲：

結(jié)合(19)、(20)和(21)，我們得到真零殘差的一階泰勒展開式：

2）Frame-to-map VIO ESIKF更新：方程（22）構(gòu)成了的另一個(gè)觀測(cè)分布，它與來自IMU傳播的先驗(yàn)分布相結(jié)合，得到的最大后驗(yàn)（MAP）估計(jì)：

然后，我們執(zhí)行類似于（17）和（18）的狀態(tài)更新。這個(gè)幀到地圖 VIO ESIKF 更新（第 V-B1 部分到第 V-B2 部分）被迭代直到收斂。然后將收斂狀態(tài)估計(jì)用于：(1) 渲染地圖的紋理（第 V-C 部分）；(2) 更新當(dāng)前跟蹤點(diǎn)集 P 以供下一幀使用（Section V-D）；(3) 在 LIO 或 VIO 更新的下一幀中作為 IMU 傳播的起點(diǎn)

C. 渲染全局貼圖的紋理

在frame-to-map VIO更新之后，我們有了當(dāng)前圖像的精確位姿，然后我們執(zhí)行渲染函數(shù)來更新地圖點(diǎn)的顏色。

D. Update of the tracking points of VIO subsystem

紋理渲染完成后，我們對(duì)跟蹤點(diǎn)集 P 進(jìn)行更新。不落入Ik。其次，我們將 ζ 中的每個(gè)點(diǎn)投影到當(dāng)前圖像 Ik，如果附近沒有其他跟蹤點(diǎn)（例如在 50 個(gè)像素的半徑內(nèi)），則將其添加到 P。

VI. 實(shí)驗(yàn)與結(jié)果分析

A．Equipment setup

the onboard DJI manifold-2c5 computation platform (equipped with an Intel i7-8550u CPU and 8 GB RAM), a FLIR Blackfly BFS-u3-13y3c global shutter camera, and a LiVOX AVIA6 LiDAR. The FoV of the camera is 82.9°*66.5°, while the FoV of the LiDAR is 70.4°* 77.2°.

B. Experiment-1: Robustness evaluation in simultaneously LiDAR degenerated and visual texture-less environments

如圖 7 所示，我們的傳感器穿過狹窄的“T”形通道，同時(shí)偶爾面對(duì)側(cè)壁。當(dāng)面對(duì)僅施加單個(gè)平面約束的墻壁時(shí)，眾所周知，LiDAR 對(duì)于完整姿態(tài)估計(jì)會(huì)退化。同時(shí)，白色墻壁上的視覺紋理非常有限（圖 7（a）和圖 7（c）），尤其是墻壁，它只有光照變化。這種場(chǎng)景對(duì)于基于 LiDAR 和基于視覺的 SLAM 方法都具有挑戰(zhàn)性。

圖 8 顯示了我們估計(jì)的姿勢(shì)，通過“wall-1”和“wall-2”的階段分別用藍(lán)色和黃色陰影表示。估計(jì)的協(xié)方差也顯示在圖 8 中，它在整個(gè)估計(jì)軌跡上有界，表明我們的估計(jì)質(zhì)量在整個(gè)過程中是穩(wěn)定的。傳感器移動(dòng)到起始點(diǎn)，在那里使用 ArUco 標(biāo)記板獲取起始和結(jié)束姿勢(shì)之間的真實(shí)相對(duì)姿勢(shì)。與地面真實(shí)端位姿相比，我們的算法旋轉(zhuǎn)漂移 1.62°，平移漂移 4.57 厘米。

C. Experiment-2: High precision mapping large-scale indoor & outdoor urban environment

我們?cè)谙愀劭萍即髮W(xué) (HKUST) 校園內(nèi)以不同的行駛軌跡（即 Traj 1-4）收集了 4 次數(shù)據(jù)，它們的總長度分別為 1317、1524、1372 和 1191 米。這些軌跡的鳥瞰圖（即在 X′Y 平面上的投影）如圖 10 所示，它們的高度變化如圖 11 所示。沒有任何額外的處理（例如閉環(huán)），所有這四個(gè)軌跡都可以閉環(huán)（見圖9（e））。使用放置在起點(diǎn)的 ArUco 標(biāo)記板，里程計(jì)漂移如表 II 所示，這表明我們提出的方法具有高精度，在長軌跡和復(fù)雜環(huán)境中漂移很小。最后，我們?cè)趫D 9 中的“Traj-1”中展示了重建的地圖。項(xiàng)目頁面上提供了更多可視化結(jié)果。

D. Experiment-3: Quantitative evaluation of precision using D-GPS RTK

我們將 R3LIVE 估計(jì)的軌跡與兩種不同的配置（“R3LIVE-HiRES”和“R3LIVERT”，見表 III）、“LVI-SAM”（為 Livox Avia LiDAR 修改其 LiDAR 前端）、“R2LIVE”進(jìn)行比較 [12]、“VINSMono”（IMU+相機(jī)）[26]、“Fast-LIO2”（IMU+LiDAR）[22] 與圖 12 中的真實(shí)情況，我們可以看到我們估計(jì)的軌跡最符合 兩個(gè)序列中的真實(shí)情況。為了進(jìn)行更多的定量比較，我們計(jì)算了所有可能的長度為 (50,100,150,...,300) 米的子序列的相對(duì)旋轉(zhuǎn)誤差 (RPE) 和相對(duì)平移誤差 (RTE) [27]，如表 III 所示。

E. Run time analysis

我們調(diào)查了我們系統(tǒng)在兩個(gè)不同平臺(tái)上的所有實(shí)驗(yàn)的平均時(shí)間消耗：臺(tái)式機(jī)（具有 Intel i7-9700K CPU 和 32GB RAM）和無人機(jī)機(jī)載計(jì)算機(jī)（“OB”，具有 Intel i7-8550u CPU 和 8GB 內(nèi)存）。詳細(xì)統(tǒng)計(jì)數(shù)據(jù)列于表四。我們的 VIO 子系統(tǒng)的時(shí)間消耗受兩個(gè)主要設(shè)置的影響：圖像分辨率和點(diǎn)云圖分辨率（“Pt res”）。

VII. 應(yīng)用

A. Mesh reconstruction and texturing

在 R3LIVE 實(shí)時(shí)重建彩色 3D 地圖的同時(shí)，我們還開發(fā)了軟件實(shí)用程序來離線對(duì)重建的地圖進(jìn)行網(wǎng)格劃分和紋理化（見圖 13）。對(duì)于網(wǎng)格劃分，我們使用了在 CGAL [29] 中實(shí)現(xiàn)的 Delaunay 三角剖分和圖切割 [28]。網(wǎng)格構(gòu)建后，我們使用頂點(diǎn)顏色對(duì)網(wǎng)格進(jìn)行紋理化，由我們的 VIO 子系統(tǒng)渲染。

我們開發(fā)的實(shí)用程序還可以將 R3LIVE 的彩色點(diǎn)圖或離線網(wǎng)格圖導(dǎo)出為常用的文件格式，如“pcd”、“ply”、“obj”等。因此，R3LIVE 重建的地圖可以通過 各種 3D 軟件，包括但不限于 CloudCompare [30]、Meshlab [31]、AutoDesk 3ds Max 等。

B. Toward various of 3D applications

借助開發(fā)的軟件實(shí)用程序，我們可以將重建的 3D 地圖導(dǎo)出到 Unreal Engine 19 以啟用一系列 3D 應(yīng)用程序。例如，在圖 14 中，我們使用 AirSim [32] 構(gòu)建了汽車和無人機(jī)模擬器，在圖 15 中，我們使用重建的地圖為臺(tái)式 PC 和移動(dòng)平臺(tái)開發(fā)視頻游戲。有關(guān)我們演示的更多詳細(xì)信息，我們建議讀者在 YoutuBe 上觀看我們的視頻。