在手機(jī)上實現(xiàn)實時的單眼3D重建

本文展示了在手機(jī)上實現(xiàn)實時單眼3D重建的系統(tǒng)，稱為Mobile3DRecon。該系統(tǒng)使用嵌入式單眼相機(jī)，在后端提供了在線網(wǎng)格生成功能，并在前端提供了實時6DoF姿勢跟蹤，以供用戶在手機(jī)上實現(xiàn)具有真實感的AR效果。

與大多數(shù)現(xiàn)有的僅使用基于點云的3D模型在線生成技術(shù)或離線的表面網(wǎng)格生成技術(shù)不同，本文提供了一種全新的在線增量網(wǎng)格生成方法來實現(xiàn)快速的在線密集表面網(wǎng)格重建，以滿足實時的AR應(yīng)用需求。

對于6DoF跟蹤的每個關(guān)鍵幀，本文使用多視圖半全局匹配（SGM）的方法進(jìn)行的單眼深度估計，然后進(jìn)行深度細(xì)化處理。生成模塊將每個估計的關(guān)鍵幀深度圖融合到在線密集表面網(wǎng)格上，這對于實現(xiàn)逼真的AR效果（例如碰撞和遮擋等）。

本文在兩個中距離移動平臺上驗證了實時重建的結(jié)果，通過定量和定性評估的實驗證明了所提出的單眼3D重建系統(tǒng)的有效性。該系統(tǒng)可以處理虛擬物體與真實物體之間的遮擋和碰撞場景以實現(xiàn)逼真的AR效果。

一、背景與貢獻(xiàn)

本文提出了以中多視圖關(guān)鍵幀深度估計方法，該方法即使在具有一定姿態(tài)誤差的無紋理區(qū)域中也可以魯棒地估計密集深度，消除由姿勢誤差或無紋理區(qū)域引起的不可靠深度，并通過深度神經(jīng)網(wǎng)絡(luò)進(jìn)一步優(yōu)化了噪聲深度。

本文提出了以中有效的增量網(wǎng)格生成方法，該方法可以融合估計的關(guān)鍵幀深度圖以在線重建場景的表面網(wǎng)格，并逐步更新局部網(wǎng)格三角。這種增量網(wǎng)格方法不僅可以為前端的AR效果提供在線密集的3D表面重建，還可以確保將網(wǎng)格生成在后端CPU模塊上的實時性能。這對于以前的在線3D重建系統(tǒng)來說是有難度的。

本文提出了帶有單眼相機(jī)的實時密集表面網(wǎng)格重建管線，在手機(jī)上實現(xiàn)了單眼關(guān)鍵幀深度估計和增量網(wǎng)格更新的執(zhí)行速度不超過后端的125ms/關(guān)鍵幀，在跟蹤前端6DoF上快速到足以超過每秒25幀（FPS）。

二、算法流程

圖1—系統(tǒng)簡圖

整個系統(tǒng)的處理圖如圖1所示，當(dāng)用戶使用手機(jī)上的單眼相機(jī)導(dǎo)航到他的環(huán)境時，本文提供的管道會使用基于關(guān)鍵幀的視覺慣性SLAM系統(tǒng)跟蹤手機(jī)的6DoF姿勢，該系統(tǒng)跟蹤前端的6DoF的同時，也可以保證關(guān)鍵幀后端具有全局優(yōu)化模塊，以優(yōu)化所有關(guān)鍵幀的姿勢，并將其反饋給前端跟蹤。本文在管道中使用了SenseAR SLAM進(jìn)行姿勢跟蹤，并且任何基于關(guān)鍵幀的VIO或SLAM系統(tǒng)（例如谷歌的ARCore）目前都是適用的。

在前端正常初始化6DoF姿勢跟蹤之后，對于具有全局優(yōu)化姿勢的關(guān)鍵幀池中的最新傳入關(guān)鍵幀，其密集深度圖是通過多視圖SGM在線估計的，其中先前的關(guān)鍵幀的一部分會被作為參考幀。卷積神經(jīng)網(wǎng)絡(luò)和多視圖SGM被用來細(xì)化深度噪聲，然后通過融合細(xì)化的關(guān)鍵幀深度圖以生成周圍環(huán)境的密集表面網(wǎng)格。這里的管道是用來執(zhí)行增量在線網(wǎng)格生成，這更適合于手機(jī)平臺上AR應(yīng)用程序?qū)崟r3D重建的要求，深度估計和增量網(wǎng)格劃分都作為后端模塊進(jìn)行。隨著密集網(wǎng)格逐漸在后端被重建出來，高級別的AR應(yīng)用程序可以使用這種實時的密集網(wǎng)格和6DoF SLAM的姿勢為前端用戶提供逼真的AR效果，比如遮擋和碰撞等。

1.單眼深度估計

單眼深度估計首先利用本文提出的多視圖SGM方法進(jìn)行立體匹配，然后基于置信圖對深度信息進(jìn)行濾波，最后利用深度學(xué)習(xí)細(xì)化深度信息。

立體匹配部分， 本文對深度空間的逆進(jìn)行均勻采樣，然后利用人口普查變換（CT）作為特征值描述子來計算補(bǔ)丁相似度（patch similarity）。這里通過查找表來計算兩個人口普查位串之間的漢明距離，遍歷每個帶有標(biāo)簽I的切片的像素，來計算立體匹配的成本。之后，會得到的大小為W * H * L尺寸的成本量，其中W和H是框架的寬度和高度。然后匯總成本量，采用Winner-Take-All的策略獲得初始深度圖。

本文通過懲罰像素鄰域的深度標(biāo)記變化添加了額外的正則化來支持平滑度。對于帶有標(biāo)簽l的圖像像素x，成本的匯總是通過遞歸計算相鄰方向的成本來完成的。

基于置信度的深度濾波利用SGM中的不確定度測量來計算置信度，同時也考慮了局部深度一致性。

深度信息的細(xì)化是基于深度神經(jīng)網(wǎng)絡(luò)的，這是由一個兩階段的細(xì)化神經(jīng)網(wǎng)絡(luò)來組成。第一階段是圖像引導(dǎo)子網(wǎng)絡(luò)CNNG，它將濾波后的深度與相應(yīng)的關(guān)鍵幀上的灰度圖像相結(jié)合得到粗細(xì)化的結(jié)果Dct，其中，灰度圖像充當(dāng)深度優(yōu)化的引導(dǎo)，用以提供CNNG的物體邊緣和語義信息的先驗。第二階段是殘差U-Net CNNR，它可以進(jìn)一步細(xì)化之前粗細(xì)化后的噪聲結(jié)果得到最終的精細(xì)化深度信息。U-Net結(jié)構(gòu)主要有助于使學(xué)習(xí)過程更加穩(wěn)定并克服特征退化的問題。這里的訓(xùn)練集是采用Demon數(shù)據(jù)集進(jìn)行訓(xùn)練。

2.漸進(jìn)式網(wǎng)格生成

去除動態(tài)物體后，利用TSDF對體素進(jìn)行融合。每一個估算出來的深度圖都被集成到TSDF體素上，然后通過鏈接生成和更新的體素來重建3D物體，生成漸進(jìn)式網(wǎng)格。

實時的網(wǎng)格更新是將漸進(jìn)式移動的立方體塊在單個CPU線程上集成，每一個關(guān)鍵幀只更新一部分立方體塊。除此之外，本文為每一個體素定義了一個狀態(tài)變量，用來判斷更新，添加，通用和刪除。更新和提取的三角網(wǎng)格只來自于添加和更新的立方體塊。最后，再利用深度細(xì)化神經(jīng)網(wǎng)絡(luò)來提高平面網(wǎng)格的質(zhì)量。

三、主要結(jié)果

我們的單眼深度估計是根據(jù)序列“室內(nèi)樓梯”和“沙發(fā)”的兩個代表性關(guān)鍵幀得出的：

原關(guān)鍵幀圖像及其兩個選定的參考關(guān)鍵幀圖像；“室內(nèi)樓梯”參考幀中的兩個代表性像素及其極線繪制出從前端的6DoF跟蹤來證明某些相機(jī)姿態(tài)誤差的數(shù)據(jù)。

通過反投影進(jìn)行的多視圖SGM和相應(yīng)點云的深度估計結(jié)果。

基于置信度的深度濾波后的結(jié)果及其對應(yīng)的結(jié)果

在基于DNN的參考及其相應(yīng)的點云之后的最終深度估計結(jié)果。

OPPO R17 Pro捕獲的四個實驗序列“室內(nèi)樓梯”，“沙發(fā)”，“桌面”和“內(nèi)閣”的表面網(wǎng)格生成結(jié)果:

a.顯示了每個序列的一些代表性關(guān)鍵幀。沒有基于DNN的深度細(xì)化的每個序列的生成 的全局表面網(wǎng).

c.我們的基于DNN的深度細(xì)化的生成的全局表面網(wǎng)格。

我們報告了我們的Mobile3DRecon和[11,27,40]的深度和表面網(wǎng)格結(jié)果的RMSE和MAE，這些結(jié)果是由我們的五個實驗序列（由OPPO R17 Pro捕獲的，ToF深度測量為GT）進(jìn)行深度評估的，僅像素在GT和估計深度圖中都有有效深度的情況下，將參與誤差計算；對于通用深度評估，所有方法和GT中只有具有有效深度相同的像素才參與評估；

請注意，對于REMODE，我們僅考慮計算對于REMODE，由于深度小于35 cm，我們無法獲得深度融合結(jié)果；對于網(wǎng)格評估，我們使用CloudCompare 2通過將每種方法的深度融合到GT網(wǎng)格（通過融合ToF深度）來比較網(wǎng)格結(jié)果。對于REMODE，由于深度誤差嚴(yán)重，我們無法獲得深度融合結(jié)果。

我們在所有子步驟中報告Mobile3DRecon的詳細(xì)每關(guān)鍵幀時間消耗（以毫秒為單位），時間統(tǒng)計信息在兩個移動平臺上給出：帶SDM710的OPPO R17 Pro和帶SDM845的MI8。

點擊閱讀原文獲取完整文章下載鏈接，提取碼:  pzg5

本文轉(zhuǎn)載自：泡泡機(jī)器人SLAM

標(biāo)題：Mobile3DRecon: Real-time Monocular 3D Reconstruction on a Mobile Phone

作者:Xingbin Yang, Liyang Zhou, Hanqing Jiang, Zhongliang Tang, Yuanbo Wang, Hujun Bao, Member, IEEE, and Guofeng Zhang, Member, IEEE

機(jī)構(gòu)：浙江大學(xué)；商湯科技

來源：ISMAR 2020

編譯 : 張海晗

審核：管培育