TRO新文：用于數(shù)據(jù)關(guān)聯(lián)、建圖和高級任務(wù)的對象級SLAM框架（1）

對象SLAM被認為對于機器人高級感知和決策制定越來越重要?，F(xiàn)有研究在數(shù)據(jù)關(guān)聯(lián)、對象表示和語義映射方面存在不足，并且經(jīng)常依賴于額外的假設(shè)，從而限制了它們的性能。在本文中，我們提出了一個綜合的對象SLAM框架，該框架專注于基于對象的感知和面向?qū)ο蟮臋C器人任務(wù)。首先，我們提出了一種集成數(shù)據(jù)關(guān)聯(lián)方法，用于通過結(jié)合參數(shù)和非參數(shù)統(tǒng)計測試來關(guān)聯(lián)復(fù)雜條件下的對象。此外，我們建議基于iForest和線對齊的對象建模的離群魯棒質(zhì)心和尺度估計算法。然后由估計的通用對象模型表示輕量級和面向?qū)ο蟮牡貓D?？紤]到對象的語義不變性，我們將對象圖轉(zhuǎn)換為拓撲圖以提供語義描述符以實現(xiàn)多圖匹配。最后，我們提出了一種對象驅(qū)動的主動探索策略，以在抓取場景中實現(xiàn)自主建圖。

提出的對象SLAM框架。

本框架主要包含4個模塊：

1.Tracking module:基于ORB-SLAM2實現(xiàn)相機軌跡跟蹤并生成稀疏點云。

2.Semantic module:采用YOLO物體檢測網(wǎng)絡(luò),結(jié)合點云測量與2D檢測結(jié)果進行數(shù)據(jù)關(guān)聯(lián)。利用iForest和線段對齊算法優(yōu)化點云和線段。基于關(guān)聯(lián)和優(yōu)化結(jié)果參數(shù)化物體。

3.Object map:實現(xiàn)基于物體的輕量語義地圖表示。

4.Application module: Augmented reality:基于實際物體姿態(tài)實現(xiàn)虛實模型配準,考慮遮擋和碰撞效果。Scene matching:將對象地圖轉(zhuǎn)換為拓撲圖,設(shè)計物體描述子實現(xiàn)多情景匹配。Active exploration:利用物體不完整度量式信息熵驅(qū)動主動構(gòu)建全局對象地圖,實現(xiàn)抓握場景。

總的來說,框架實現(xiàn)穩(wěn)健的數(shù)據(jù)關(guān)聯(lián)、精確的物體參數(shù)化以及基于語義對象地圖的高層應(yīng)用,解決了對象SLAM涉及的主要挑戰(zhàn)。語義對象地圖能為機器人抓取、導(dǎo)航、規(guī)劃等復(fù)雜任務(wù)提供必要信息,有助于實現(xiàn)智能機器人

本文提出一個集成方法來執(zhí)行多幀間的對象數(shù)據(jù)關(guān)聯(lián)。關(guān)聯(lián)算法主要包含4部分:

(1) 運動IOU模型:如果全局物體在前兩幀(t-1和t-2)可觀測,則基于勻速運動假設(shè)預(yù)測當前幀(t)的邊界框,與檢測到的本地物體計算IOU值。

(2) 非參數(shù)檢驗?zāi)Ｐ?如果連續(xù)觀測到物體失敗,則直接應(yīng)用非參數(shù)Wilcoxon檢驗對P和Q(代表物體點云)進行驗證。假設(shè)它們來自同一物體,則應(yīng)滿足同一分布 fP = fQ 。

(3) 單樣本t檢驗?zāi)Ｐ?分析不同視角下物體質(zhì)心C和c是否來自同一物體。建立t統(tǒng)計量并與臨界值比較:

(4)投影IOU模型:將三維點云投影到二維圖像,擬合投影邊界框與檢測框的IOU (5) 雙樣本t檢驗?zāi)Ｐ?如果存在重復(fù)物體,則對兩個物體的歷史質(zhì)心C1和C2建立t統(tǒng)計量并比較,實現(xiàn)合并:

其中d為兩個物體的池化標準差。通過集成利用不同統(tǒng)計特征,提高了數(shù)據(jù)關(guān)聯(lián)的魯棒性和成功率。實驗結(jié)果表明,與單一方法相比,集成方法能更有效地關(guān)聯(lián)不同視角下的物體,為下一步的參數(shù)化奠定基礎(chǔ)?？偟膩碚f,該方法充分利用了點云和質(zhì)心分別顯示的非高斯分布和高斯分布特性,通過不同統(tǒng)計模型集成提高關(guān)聯(lián)性能。

對象級數(shù)據(jù)關(guān)聯(lián)示意圖

我們利用立方體和二次曲面、圓柱體來表示對象，而不是復(fù)雜的實例級或類別級模型。對于具有規(guī)則形狀的對象，例如書本、鍵盤和椅子，我們使用立方體（由它們的頂點 Po 編碼）來表示它們。對于球、瓶、杯等沒有明確方向的非規(guī)則物體，采用二次/圓柱（由其半軸Qo編碼）表示，忽略其方向參數(shù)。這里，Po 和 Qo 在對象坐標系中表示，僅取決于尺度 s。為了將這些元素對準到全局地圖，我們還需要估計它們的平移 t 和方向 θ。全局坐標系中的立方體和二次曲面表示如下：

隨后，提出了基于iForest和線段對齊的離群點過濾算法,實現(xiàn)精確的對象尺度、位置和方位估計。主要包括以下部分:

(1) 平移和尺度估計:利用iForest去除點云中的離群點,剩余點云實現(xiàn)對象的初始尺度s和位置t估計。算法1描述了基于iForest的算法:

(2) 方位估計:分為初始化和優(yōu)化兩個階段。

算法2描述了初始化算法:

(3) 對象表示:根據(jù)物體形狀使用立方體或?qū)悄Ｐ捅硎?編碼尺度s、位置t和方位角θ。

總的來說,采用iForest過濾離群點和線段對齊初始化方位角,有效實現(xiàn)了精確的6DOF姿態(tài)估計。最終構(gòu)建了基于物體類型的通用模型,實現(xiàn)了輕量級語義對象地圖：