最新開源：BundleTrack - 無需任何CAD模型的6D物體姿態(tài)跟蹤算法

最近，谷歌X的實習(xí)生Bowen Wen新開源了用于6D物體姿態(tài)跟蹤的代碼BundleTrack，該工作已經(jīng)被今年的IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS)錄用。其中Bowen Wen為該論文唯一學(xué)生作者，此前也是se(3)-TrackNet的第一作者（目前state of art的基于CAD模型的6D姿態(tài)跟蹤算法），目前為美國Rutgers大學(xué)的在讀博士，過去幾年曾在Facebook Reality Labs, 亞馬遜和商湯科技實習(xí)。

以下是新開源代碼相關(guān)的論文、視頻、代碼、作者個人主頁等信息

論文名稱：BundleTrack: 6D Pose Tracking for Novel Objects without Instance orCategory-Level 3D Models

論文下載：

https://arxiv.org/pdf/2108.00516.pdf

代碼鏈接：

https://github.com/wenbowen123/BundleTrack

作者Github主頁：

https://github.com/wenbowen123 

貢獻(xiàn)

該開源項目主要貢獻(xiàn)如下

1.  一個全新的6D物體姿態(tài)算法，不需要實例或類級別的CAD模型用于訓(xùn)練或測試階段。該算法可立即用于新穎物體的6D姿態(tài)跟蹤

2.  在NOCS數(shù)據(jù)集上的創(chuàng)下全新記錄，將以往的表現(xiàn)從33.3%大幅度提升到87.4%。在YCBInEOAT數(shù)據(jù)集上也達(dá)到了跟目前基于CAD模型的領(lǐng)先方法se(3)-TrackNet相近的表現(xiàn)。特別值得注意的是，與以往state of art的6D物體姿態(tài)跟蹤方法相比，BundleTrack并不需要類級別的物體進(jìn)行訓(xùn)練，也不需要測試階段物體的CAD模型作模板匹配，減少了很多假設(shè)。

3.  首次將具有記憶功能的位姿圖優(yōu)化引入6D物體姿態(tài)跟蹤。除了相鄰幀的匹配還能夠借助帶記憶功能的歷史幀解決特征匹配不足和跟蹤漂移問題。

4.  高效的CUDA編碼，使得本來計算量龐大的位姿優(yōu)化圖能在線實時運行，達(dá)到10Hz。足夠用于AR/VR，視覺反饋控制操縱，物體級SLAM或動態(tài)場景下的 SLAM等。

問題設(shè)置

對于需要6D跟蹤的物體，該方法不需要任何類級別的CAD模型或者當(dāng)前物體的CAD模型。所需要的輸入只有（1）RGBD視頻；（2）初始掩碼，用于指定需要跟蹤的物體。該掩碼可以通過多種途徑獲得，例如語義分割，3D點云分割聚類，平面移除等等。該方法就能輸出跟蹤物體在相機前相對初始的6D姿態(tài)變換。

方法

1）總覽

本文所提出的 BundleTrack 框架的概述如圖. 當(dāng)前觀察到的 RGB-D 幀

*博客內(nèi)容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點，如有侵權(quán)請聯(lián)系工作人員刪除。