SDV-LOAM：半直接視覺和激光雷達(dá)融合SLAM

參考論文：SDV-LOAM: Semi-Direct Visual–LiDAR Odometry and Mapping

作者機(jī)構(gòu)：華中科技大學(xué)人工智能研究所

論文鏈接：[https://ieeexplore.ieee.org/document/10086694]

項(xiàng)目主頁：[https://github.com/ZikangYuan/SDV-LOAM)

本文介紹了SDV-LOAM，一種融合相機(jī)和 LiDAR 信息的系統(tǒng)，用于實(shí)現(xiàn)準(zhǔn)確、強(qiáng)大的姿態(tài)估計(jì)和建圖?，F(xiàn)有方法使用特征或直接方法作為視覺模塊，無法很好地處理視覺模塊中稀疏特征建立造成的誤差。作者的動(dòng)機(jī)是結(jié)合兩種方法的優(yōu)勢來實(shí)現(xiàn)準(zhǔn)確的姿態(tài)估計(jì)。本文提出的研究方法SDV-LOAM 包括，半直接視覺里程計(jì)模塊和自適應(yīng)掃描LiDAR里程計(jì)模塊，提出一種新型的點(diǎn)特征提取和匹配方法來傳播點(diǎn)和減少幀間的尺度差異。SDV-LOAM在KITTI訓(xùn)練集上的性能排名第八，比現(xiàn)有大多數(shù)的LiDAR和視覺-LiDAR系統(tǒng)都要好，可以在大型環(huán)境中實(shí)現(xiàn)高精度和輸出頻率。

本文介紹了一種基于相機(jī)和激光雷達(dá)的視覺里程計(jì)和建圖系統(tǒng)。傳統(tǒng)的基于特征、直接和半直接方法的視覺里程計(jì)/SLAM系統(tǒng)，以及各種基于LiDAR的里程計(jì)方法無法很好地處理視覺模塊中稀疏特征建立造成的誤差。視覺里程計(jì)具有很高的姿勢估計(jì)輸出頻率，但是在圖像數(shù)據(jù)中存在大量噪聲的情況下，其精度可能會(huì)顯著降低，并且獲得的地圖通常很稀疏。激光雷達(dá)里程計(jì)依靠激光雷達(dá)點(diǎn)中包含的幾何信息進(jìn)行跟蹤，并不斷更新具有豐富幾何結(jié)構(gòu)的點(diǎn)云地圖。本文提出一種適用于大規(guī)模環(huán)境的視覺-LiDAR里程計(jì)和建圖系統(tǒng)，能夠綜合利用兩個(gè)傳感器的信息，實(shí)現(xiàn)高效、高精度的姿態(tài)估計(jì)與實(shí)時(shí)建圖。系統(tǒng)架構(gòu)如下圖所示

SDV-LOAM包括兩個(gè)主要模塊：半直接深度增強(qiáng)視覺里程計(jì)和LiDAR里程計(jì)。視覺模塊和LiDAR模塊由掃描重建塊組合，將 LiDAR 點(diǎn)云的輸入頻率提高到與相機(jī)圖像相同的頻率。與現(xiàn)有方法相比，黃色塊突出了我們的主要貢獻(xiàn)。需要說明的是，60 Hz 視覺姿態(tài)和60 Hz 重建是假設(shè)無限計(jì)算資源的理想頻率。為了描述方便，我們在這里使用 60 Hz 視覺姿態(tài)和重建云。事實(shí)上，視覺和 LiDAR 模塊都可以在 20 Hz 左右運(yùn)行。

半直接視覺里程計(jì)模塊直接提取高梯度像素，3D LiDAR點(diǎn)投射到這些像素上進(jìn)行跟蹤。該模塊使用一種新穎的點(diǎn)匹配與傳播方法，將主機(jī)幀的點(diǎn)傳播到更接近當(dāng)前幀的中間關(guān)鍵幀，以減少比例差異。半直接視覺里程測量模塊由三個(gè)主要步驟組成：特征提取、特征匹配和姿勢估計(jì)。在特征提取步驟中，該模塊從當(dāng)前圖像幀和中間關(guān)鍵幀中提取高漸變像素。在特征匹配步驟中，該模塊使用一種新的點(diǎn)匹配與傳播方法在當(dāng)前幀和中間關(guān)鍵幀之間匹配提取的特征。具體來說，該方法解決在點(diǎn)匹配中出現(xiàn)的深度匹配問題的方法。該方法首先在當(dāng)前幀中直接找到特征點(diǎn)的對應(yīng)物，然后通過將它們投影到中間幀上，找到中間幀上與它們對應(yīng)的特征點(diǎn)，在最終的目標(biāo)幀中再用中間幀上找到的對應(yīng)點(diǎn)與之匹配。該方法對于跨越時(shí)間較長的幀間點(diǎn)匹配能夠有效降低尺度差異所帶來的匹配誤差。在姿勢估計(jì)步驟中，模塊使用匹配的特征估計(jì)當(dāng)前幀和中間關(guān)鍵幀之間的相對姿勢。該模塊還使用了強(qiáng)大的魯棒核函數(shù)來拒絕特征匹配步驟中的異常值。

LiDAR 模塊中的自適應(yīng)掃描映射方法根據(jù)垂直方向上幾何約束的豐富度，自動(dòng)選擇優(yōu)化 3 個(gè)水平自由度或 6 個(gè)全自由度姿勢。該方法使用了一種新穎的掃描重建方法，可以將LiDAR點(diǎn)云的輸入頻率提高到與相機(jī)圖像相同的頻率，進(jìn)而在理論上產(chǎn)生LiDAR里程計(jì)的高頻輸出。該方法減少了垂直方向的姿態(tài)估計(jì)漂移，提高了多個(gè)現(xiàn)有開源 LiDAR 里程計(jì)系統(tǒng)的性能。

掃描重建算法示意圖。10Hz輸入原始點(diǎn)云Sj、Sj+1、Sj+2疊加重構(gòu)得到60Hz重構(gòu)點(diǎn)云Si+7、Si+8、···、Si+17

本文的實(shí)驗(yàn)部分評估了SDV-LOAM在KITTI里程計(jì)基準(zhǔn)測試和使用定制硬件平臺的大規(guī)模環(huán)境中的性能。結(jié)果顯示，SDV-LOAM在KITTI里程計(jì)基準(zhǔn)測試中排名第8位，表現(xiàn)優(yōu)于大多數(shù)激光雷達(dá)/視覺激光雷達(dá)里程測量系統(tǒng)。SDV-LOAM 的視覺模塊的性能也優(yōu)于最先進(jìn)的視覺里程測量系統(tǒng)。LiDAR 模塊中的自適應(yīng)掃描到地圖優(yōu)化方法提高了多個(gè)現(xiàn)有開源 LiDAR 里程計(jì)系統(tǒng)的性能。演示了SDV-LOAM在使用定制硬件平臺的大規(guī)模環(huán)境中的有效性。

表 5 中的結(jié)果表明，提出的視覺模塊在所有序列上都優(yōu)于 DEMO，在 KITTI 上的大多數(shù)序列上優(yōu)于DVL-SLAM，其中我們方法的 RTE 比 DEMO 低 37.9%，比 LIMO 低 15.3%，比 DVL-SLAM 等人低 23.4%，在序列 00-10 的平均結(jié)果上比 DVL-SLAM 低 26.5%，在序列 11-21 的平均結(jié)果上比 DEMO 低 22.8%，比 LIMO 低 5.4%。對于序列03、04、07，我們系統(tǒng)的準(zhǔn)確率低于Huang等人，因?yàn)檫@三個(gè)序列中有豐富的線特征，而Huang等人的準(zhǔn)確率有所提高。在英特爾酷睿 i7-11700 CPU 上，我們的 VO 運(yùn)行時(shí)間為 0.06 秒/幀。相比之下，LIMO 需要語義標(biāo)簽信息來識別移動(dòng)物體并拒絕異常值，因此需要 GPU 進(jìn)行加速。同時(shí)，LIMO 和DVL-SLAM都不能實(shí)時(shí)運(yùn)行。我們的方法可以在僅 CPU 的平臺上實(shí)時(shí)有效地運(yùn)行。我們的視覺里程計(jì)在序列1121上的測試結(jié)果也發(fā)布在官網(wǎng)，名稱縮寫為“SD-DEVO”。值得一提的是，DEMO是V-LOAM中使用的視覺模塊。因此，與 DEMO 的比較結(jié)果也可以證明我們的 VO 優(yōu)于 VLOAM。

歡迎關(guān)注微信公眾號「3D視覺工坊」，加群/文章投稿/課程主講，請加微信：dddvisiona，添加時(shí)請備注：加群/投稿/主講申請

掃描重建實(shí)驗(yàn)。(a)-(d) 是沒有掃描重建的結(jié)果，而 (e)-(h) 是有掃描重建的結(jié)果。軌跡上點(diǎn)的分辨率反映了我們的 LiDAR 里程計(jì)輸出姿勢的頻率。(a)-(d) 和 (e)-(h) 之間的比較表明我們的掃描重建塊可以有效地提高 LiDAR 位姿估計(jì)的頻率。

a. 工作的意義：提出一種新型的視覺-LiDAR里程計(jì)和建圖系統(tǒng)SDV-LOAM，能夠綜合利用相機(jī)和激光雷達(dá)的信息，實(shí)現(xiàn)高效、高精度的姿態(tài)估計(jì)和實(shí)時(shí)建圖，且性能優(yōu)于現(xiàn)有的相機(jī)和激光雷達(dá)系統(tǒng)。b. 創(chuàng)新、性能 該系統(tǒng)采用半直接視覺模塊、自適應(yīng)掃描映射LiDAR模塊和新型點(diǎn)提取和匹配方法，解決了視覺-LiDAR集成中稀疏特征建立導(dǎo)致的問題，自適應(yīng)優(yōu)化姿態(tài)估計(jì)、增加LiDAR原始點(diǎn)云輸入頻率，并且在KITTI數(shù)據(jù)集和自行搭建的硬件平臺上實(shí)現(xiàn)了良好的性能。c. 研究結(jié)論 SDV-LOAM 可以綜合利用相機(jī)和激光雷達(dá)的信息，實(shí)現(xiàn)姿態(tài)估計(jì)和實(shí)時(shí)地圖構(gòu)建 系統(tǒng)算法性能在KITTI數(shù)據(jù)集上優(yōu)于其他系統(tǒng)。該系統(tǒng)的算法性能和實(shí)踐證明了其在實(shí)際場景中的準(zhǔn)確性和魯棒性。SDV-LOAM 可以進(jìn)一步開發(fā)，例如將LiDAR深度作為視覺 BA 的軟約束來使用。