利用稀疏的語(yǔ)義視覺(jué)特征進(jìn)行道路建圖和定位(ICRA2021)（2）

下圖展示了這篇文章所構(gòu)建的因子圖，這篇文章針對(duì)場(chǎng)景中需要構(gòu)建的各個(gè)不同種類(lèi)的路標(biāo)各自建立了不同的參數(shù)模型，并通過(guò)圖優(yōu)化的方式對(duì)各個(gè)路標(biāo)進(jìn)行狀態(tài)更新。

Initialization of ground and pole objects:

下面介紹上述的5個(gè)參數(shù)模型的初始化方法：

1.當(dāng)GNSS-VIO軌跡給定時(shí)，通過(guò)三角化特征點(diǎn)的方式獲取位姿估計(jì)。

2.我們使用它們所包含的deep points在XOY平面上進(jìn)行二維線擬合。

3.之后，如果沒(méi)有檢測(cè)到地面初始化的地面標(biāo)志，我們就使用每一幀中檢測(cè)到的車(chē)道凸包內(nèi)的傳統(tǒng)特征點(diǎn)，并應(yīng)用RANSAC三維平面擬合策略來(lái)去除移動(dòng)車(chē)輛上的關(guān)鍵點(diǎn)。

Inilization of splines:

Offline mapping case

在這些變量被初始化后，我們根據(jù)常見(jiàn)的視覺(jué)-慣性測(cè)距約束推導(dǎo)出一個(gè)因子圖優(yōu)化，為了數(shù)值穩(wěn)定，在上述因子上添加了Cauchy損失函數(shù)，并將第一幀的位姿固定。所有的關(guān)鍵幀和檢測(cè)到的實(shí)例都參與到最后的BA調(diào)整中，以共同解決位姿和位置問(wèn)題。

Online localization case

在在線定位過(guò)程中，我們從語(yǔ)義地圖中反序列化固定的語(yǔ)義地標(biāo)，即spline的控制點(diǎn)和常規(guī)的三維點(diǎn)，并將它們固定在公式4和5中，以增加對(duì)攝像機(jī)和地圖坐標(biāo)之間的相對(duì)位置的約束。在這個(gè)階段，不再需要像公式6那樣的共面約束。我們將在第II-I節(jié)中進(jìn)一步介紹這些因素是如何通過(guò)提議的地圖查詢策略構(gòu)建的。

Re-Identification and Feature Merging

我們進(jìn)行3D-3D關(guān)聯(lián)來(lái)重新識(shí)別語(yǔ)義對(duì)象，而不是進(jìn)行框架式的詞包查詢。原因是重復(fù)對(duì)象的密度（幾十米）相對(duì)于測(cè)繪過(guò)程中GNSS-VIO測(cè)距的定位不確定性要稀疏一些，而且這些標(biāo)準(zhǔn)化的道路元素之間的視覺(jué)外觀過(guò)于相似，無(wú)法區(qū)分。在實(shí)例化的物體和車(chē)道關(guān)聯(lián)過(guò)程中，我們將其中心點(diǎn)之間的距離小于5.0米（或車(chē)道為0.5米）的三角形物體視為相同的物體，然后以匈牙利策略逐級(jí)合并其包含的深層點(diǎn)和經(jīng)典點(diǎn)的觀測(cè)結(jié)果。深層點(diǎn)的語(yǔ)義類(lèi)型被用于拒絕不匹配。而對(duì)于每個(gè)伴隨的GFTT點(diǎn)，我們使用它們?cè)诙鄮械腇REAK描述符進(jìn)行投****。我們使用union-find算法來(lái)合并它們的觀察結(jié)果，并進(jìn)行另一輪全局狀態(tài)優(yōu)化。

Data Structure of Semantic Maps

對(duì)于每個(gè)觀測(cè)c，我們?cè)谌肿鴺?biāo)TC中存儲(chǔ)其估計(jì)姿態(tài)，以及用于在線GPS查詢的最近的GNSS測(cè)量。對(duì)于每個(gè)分層語(yǔ)義地標(biāo)，我們存儲(chǔ)語(yǔ)義標(biāo)簽和所包含的深度和GFTT點(diǎn)的三維位置。在我們的語(yǔ)義地圖中，既不存儲(chǔ)FREAK描述符，也不存儲(chǔ)框架性描述符。

Localization Based on Semantic Maps

我們使用上圖所示的狀態(tài)機(jī)來(lái)評(píng)估在線定位的位姿質(zhì)量，并相應(yīng)地執(zhí)行不同的策略。從地圖未初始化的狀態(tài)開(kāi)始，在這個(gè)狀態(tài)下，從地圖坐標(biāo)到當(dāng)前全局坐標(biāo)TM的全局變換是未知的，我們使用粗略的GPS測(cè)量來(lái)檢索相應(yīng)的地圖分區(qū)，以獲得相應(yīng)的觀測(cè)。

在局部搜索模式下，我們可以獲得地標(biāo)子集LM=G(OM)，用于通過(guò)索引的深層物體關(guān)鍵點(diǎn)建立二維三維PnP-Ransac關(guān)聯(lián)。要接受這樣一個(gè)估計(jì)的PnP姿態(tài)是有效的，至少需要來(lái)自5個(gè)不同實(shí)例的12個(gè)傳入點(diǎn)，以切換到兩個(gè)跟蹤狀態(tài)并初始化TM。

我們使用兩個(gè)階段的跟蹤狀態(tài)，根據(jù)其位姿質(zhì)量應(yīng)用不同的閾值。在這兩種跟蹤狀態(tài)下，重建的關(guān)聯(lián)將通過(guò)公式4和5被添加到滑動(dòng)窗口優(yōu)化中，其中幀到全局變換的原始TC被幀到地圖變換的TCM取代，而TM被視為優(yōu)化過(guò)程中的一個(gè)額外的可優(yōu)化變量。

在這樣的兩種跟蹤模式中，我們將所有的地圖實(shí)例投射到在線檢測(cè)的幀c上，并使用以下標(biāo)準(zhǔn)，通過(guò)匈牙利式匹配接受投影關(guān)聯(lián)，如。

Experimental Evaluation

Datasets

本文所構(gòu)建的系統(tǒng)在KAIST數(shù)據(jù)集以及作者自己錄制的兩個(gè)數(shù)據(jù)集上進(jìn)行了測(cè)試。

Performance

結(jié)果顯示了我們訓(xùn)練的深度模型在KAIST數(shù)據(jù)集上的表現(xiàn)，由于它們?cè)趫D像上的不同表現(xiàn)，盒子里的物體被分為三個(gè)有代表性的子類(lèi)型（電線桿、交通標(biāo)志和地面標(biāo)志）。我們?cè)跍y(cè)試集上分別評(píng)估這些任務(wù)，得出它們的分類(lèi)精度、檢測(cè)召回率，另外，表中的提取像素誤差，下圖為像素誤差的分布直方圖。

Evaluations on Localization and Mapping

在這個(gè)測(cè)試中，我們對(duì)每個(gè)序列運(yùn)行兩次，分別進(jìn)行測(cè)繪和地圖輔助定位。圖7列出了測(cè)試序列的結(jié)果。我們提出的方法所產(chǎn)生的語(yǔ)義圖需要的文件大小要少得多，同時(shí)提供了有競(jìng)爭(zhēng)力的定位性能。例如，KAIST-38的語(yǔ)義地圖占據(jù)了1.54MB的磁盤(pán)空間來(lái)達(dá)到0.46米的定位精度，而傳統(tǒng)的地圖在設(shè)置K=8時(shí)需要7.60MB來(lái)達(dá)到0.75米。對(duì)杭州序列的測(cè)試也反映了同樣的趨勢(shì)?？偟膩?lái)說(shuō)，我們提出的方法中的語(yǔ)義圖要比那些設(shè)定的覆蓋點(diǎn)特征圖小近5倍，才能達(dá)到類(lèi)似的定位性能。

Cross-Relocalization

下表顯示了這種對(duì)等的交叉定位結(jié)果。可以看出，我們提出的含有方框物體和道路車(chē)道的語(yǔ)義地圖的方法在所有交叉驗(yàn)證測(cè)試中都完成了成功的定位。對(duì)于傳統(tǒng)地圖，我們用包括全尺寸地圖在內(nèi)的多種設(shè)置進(jìn)行測(cè)試。不幸的是，由于在不同季節(jié)和時(shí)間段捕獲的視覺(jué)特征的嚴(yán)重變化，在28序列的地圖上運(yùn)行KAIST-38序列的定位始終失敗。因此，集合覆蓋稀疏化需要應(yīng)用更大的K值來(lái)進(jìn)行交叉重定位，以保持足夠可靠的特征。對(duì)于Maplab來(lái)說(shuō)，由于保留的信息量大的三維點(diǎn)通常與更多的局部視覺(jué)描述符有關(guān)，因此結(jié)果的地圖大小比預(yù)期的要大。相比之下，我們提出的方法依賴(lài)于從標(biāo)準(zhǔn)化和持久化的道路元素中提取的深層特征?？傊?，這種語(yǔ)義替換在交叉定位上比傳統(tǒng)地圖和Maplab都有更大的優(yōu)勢(shì)，對(duì)杭州序列的實(shí)驗(yàn)也反映了同樣的趨勢(shì)，這表明在緊湊性和定位精度上都有優(yōu)勢(shì)。

Modular and Efficiency Analysis

下表表示我們的定位所涉及的兩種跟蹤狀態(tài)的統(tǒng)計(jì)數(shù)據(jù)。在大多數(shù)情況下，我們的方法在緊密跟蹤模式下運(yùn)行，這反映了更好的定位精度。

下表顯示了來(lái)自不同語(yǔ)義實(shí)例的平均用點(diǎn)數(shù)量。由于相機(jī)可以觀察和檢測(cè)到比地面物體相對(duì)較遠(yuǎn)的有效的電線桿和標(biāo)志物，這些物體對(duì)定位的貢獻(xiàn)最大。

我們還分析了不同定位模式下語(yǔ)義對(duì)象關(guān)聯(lián)的時(shí)間消耗。在在線定位期間，感知和地圖查詢模塊都在一個(gè)獨(dú)立的線程中運(yùn)行。在感知模塊中，如果單獨(dú)檢測(cè)，車(chē)道需要17.6毫秒/693MB，車(chē)道線檢測(cè)需要7.5毫秒/422MB，其他物體和關(guān)鍵點(diǎn)檢測(cè)需要17.3毫秒/1177MB。在地圖查詢模塊中，本地搜索模式的平均時(shí)間消耗約為300毫秒，而對(duì)于占主導(dǎo)地位的松耦合跟蹤或緊耦合跟蹤模式，它減少到不到1毫秒。總體時(shí)間消耗低于我們?cè)O(shè)計(jì)的定位查詢頻率（1Hz）。

Stability of Semantic Mapping

下表顯示了經(jīng)典和語(yǔ)義建圖方法中的建圖誤差。這表明引入語(yǔ)義對(duì)象并不明顯影響建圖的質(zhì)量

Conclusion

本文提出了一個(gè)語(yǔ)義建圖和定位流程。包括電桿、標(biāo)志和公路車(chē)道在內(nèi)的實(shí)例被檢測(cè)到并被參數(shù)化，以形成一個(gè)緊湊的語(yǔ)義圖，從而實(shí)現(xiàn)高效和準(zhǔn)確的定位。