CVPR 2022｜群核前沿院等提出首個(gè)基于數(shù)據(jù)驅(qū)動的面檢測算法

作者丨叫我佳老師@知乎（已授權(quán)）

來源丨h(huán)ttps://www.zhihu.com/question/517340666/answer/2374684918編輯丨極市平臺

項(xiàng)目鏈接：https://manycore-research.github.io/faceformer/

論文鏈接：https://arxiv.org/abs/2203.04229

代碼鏈接：https://github.com/manycore-research/faceformer

肝完了ECCV 2022，來介紹一下我們剛被CVPR 2022接受的基于單張線框圖的三維重建論文。

我們提出了首個(gè)基于數(shù)據(jù)驅(qū)動的面檢測算法；我們基于面檢測結(jié)果提出了一個(gè)簡易的三維重建解決方案。

面檢測是計(jì)算機(jī)視覺/圖形學(xué)中的一個(gè)基本問題。傳統(tǒng)方法基于復(fù)雜的幾何搜索與推斷，很不直觀。然而，人眼可以迅速地從圖片中找出此類幾何元素，因此我們猜想：人腦的判定方式是基于歷史觀測數(shù)據(jù)。因此提出通過數(shù)據(jù)驅(qū)動的方法，訓(xùn)練神經(jīng)網(wǎng)絡(luò)在進(jìn)行此類檢測。

面檢測就是從輸入的單張線框圖（矢量圖）中找到真實(shí)三維面所對應(yīng)邊的集合，如下圖所示。

邊界表達(dá)（B-Rep）是CAD中標(biāo)準(zhǔn)模型表達(dá)的方式，我們的方法借鑒了其中共邊（co-edge）這一個(gè)屬性：

1. 每個(gè)邊（edge）對應(yīng)了兩個(gè)共邊（co-edge），且兩個(gè)共邊方向相反；

2. 每條邊（edge）嚴(yán)格被兩個(gè)面（face）共享，這條邊的兩個(gè)共邊分別對應(yīng)了這兩個(gè)面；

3. 共邊（co-edge）方向定義：沿環(huán)的方向看，（假設(shè)面的方向朝上）面總在邊的左側(cè)。

借助共邊, 面就可以方便被表達(dá)為共邊的環(huán) (co-edge loops) , 如上圖所示, 三個(gè)標(biāo)記的面的共 邊的集合分貝是  和  。

隨后，我們設(shè)計(jì)了一種基于Transformer的自回歸模型，從每條共邊出發(fā)，網(wǎng)絡(luò)自動的尋找其所在的面。如下圖所示，網(wǎng)絡(luò)每次基于當(dāng)前預(yù)測的共邊集合，輸出下一條邊，當(dāng)預(yù)測結(jié)束后，預(yù)測出對應(yīng)面的類型。

這樣做的好處是，我們的模型可以在共邊這個(gè)維度上做到并行，加速網(wǎng)絡(luò)的推斷。我們驚訝的方法，基于自回歸的方法能夠達(dá)到93.8%的準(zhǔn)確率和95.9%的精度（如果訓(xùn)練更久，達(dá)到99%也不在話下）。

隨后，我們基于面檢測的結(jié)果設(shè)計(jì)了一個(gè)三維重建算法。大致的思想是利用面檢測中得到的平面，三維重建提供了一組共面的約束。但是，只依賴面檢測的結(jié)果是不夠的，我們假設(shè)物體有三個(gè)相互垂直的主方向（曼哈頓假設(shè)），進(jìn)一步約束面的朝向（具體算法參見論文吧，在此就不贅述了）。

再來看看我們?nèi)S重建的結(jié)果吧，與單純基于圖像的三維重建算法相比，我們的方法不僅重建地更好，而且還能保證拓?fù)涞恼_性。比較amazing的是最后一行的結(jié)果，相信小伙伴們單單通過輸入圖片也很難想象出這個(gè)三維物體的形狀吧。