CVPR 2022 Oral | 創(chuàng)建一個(gè)屬于你的高保真數(shù)字人，一段單目自轉(zhuǎn)視頻就夠了

來自中科大的張舉勇教授課題組聯(lián)合杭州像衍科技有限公司與浙江大學(xué)，于近期一同提出一種基于單目 RGB 視頻的高保真三維人體重建算法SelfRecon，該算法僅需輸入目標(biāo)對(duì)象一段十幾秒的自轉(zhuǎn)視頻，即可恢復(fù)重建對(duì)象的高保真數(shù)字化身。

近年來，隨著圖形技術(shù)的快速發(fā)展，各類虛擬數(shù)字人開始走入我們的日常，如數(shù)字航天員小諍、百度智能云 AI 手語主播、騰訊 3D 手語數(shù)智人 “聆語” 等紛紛亮相。實(shí)際上，三維數(shù)字人技術(shù)于我們的日常生活早有應(yīng)用，如早在 2015 年上映的電影《速度與激情 7》中，就曾使用三維數(shù)字人技術(shù)幫助復(fù)活已故演員保羅沃克。

在去年的 GTC 大會(huì)上，英偉達(dá)更是基于高保真虛擬數(shù)字人技術(shù)舉辦了一場(chǎng)以假亂真的產(chǎn)品發(fā)布會(huì)，一時(shí)引發(fā)廣泛關(guān)社會(huì)關(guān)注與討論。同樣地, 英偉達(dá)的數(shù)字人生成與建模同樣也需要高昂的人力成本和高端的硬件支持。據(jù)悉，英偉達(dá)為保證報(bào)告視頻中的老黃足夠真實(shí)，期間調(diào)配了 34 個(gè) 3D 美術(shù)師、15 個(gè)軟件研究人員，實(shí)現(xiàn)了 21 個(gè)不同版本的假老黃，最終展示給我們的則是從中選擇的最為理想的一個(gè)。在該版本中，英偉達(dá)可以說整合了各種建模、編輯、驅(qū)動(dòng)以及渲染技術(shù)，更是借助工業(yè)級(jí)高規(guī)格采集設(shè)備來保證重建的三維人體的幾何材質(zhì)精度，在耗時(shí)良久的情況下才達(dá)到如下所示的難辨真假的視覺效果。

然而，如此高昂的人力成本與時(shí)間成本、以及技術(shù)上的復(fù)雜性和專業(yè)性要求不可避免地導(dǎo)致相關(guān)方法難以推廣至一般消費(fèi)市場(chǎng)。另一方面，隨著移動(dòng)端手機(jī)設(shè)備的普及，單目 RGB 數(shù)據(jù)開始變得唾手可得，因此若僅僅依靠單目 RGB 視頻數(shù)據(jù)就能高效便捷地獲取普通對(duì)象的高質(zhì)量可驅(qū)動(dòng)數(shù)字化身，將切實(shí)地推動(dòng)虛擬數(shù)字人及其相關(guān)技術(shù)應(yīng)用與發(fā)展，而這也是三維視覺以及圖形學(xué)領(lǐng)域一直致力于的研究目標(biāo)。

為此，中科大張舉勇教授課題組聯(lián)合杭州像衍科技有限公司與浙江大學(xué)，于近期一同提出一種基于單目 RGB 視頻的高保真三維人體重建算法SelfRecon，該算法僅需輸入目標(biāo)對(duì)象一段十幾秒的自轉(zhuǎn)視頻，即可恢復(fù)重建對(duì)象的高保真數(shù)字化身。該研究工作已被 CVPR 2022 接收，并將于 CVPR 會(huì)議期間進(jìn)行口頭報(bào)告。

• 論文鏈接: https://arxiv.org/abs/2201.12792

• 項(xiàng)目主頁: https://jby1993.github.io/SelfRecon/

• 代碼鏈接: https://github.com/jby1993/SelfReconCode

基于 SelfRecon 生成的紋理模型

SelfRecon 的重建效果如下所示?；谄胀ㄖ悄苁謾C(jī)拍攝的自轉(zhuǎn)視頻，SelfRecon 可準(zhǔn)確跟蹤三維動(dòng)態(tài)幾何，并有效還原寬松衣服的動(dòng)態(tài)效果。得益于輸入的簡易性，基于 SelfRecon 將有望大幅度降低人們獲取個(gè)人高保真數(shù)字化身的成本與難度。

SelfRecon 的算法流程如下所示，SelfRecon 創(chuàng)新地整合了三維顯式表示與三維隱式表示，并利用神經(jīng)可微渲染來自動(dòng)化地構(gòu)建目標(biāo)對(duì)象的三維數(shù)字表示。具體地，SelfRecon 一方面使用基于 MLP 的隱式函數(shù)來表示基準(zhǔn)空間的符號(hào)距離場(chǎng)。同時(shí)，在優(yōu)化該 MLP 網(wǎng)絡(luò)參數(shù)的過程中，SelfRecon 會(huì)周期性地從隱式表示的符號(hào)距離場(chǎng)中提取顯式網(wǎng)格，接著 SelfRecon 會(huì)利用該顯式表示相關(guān)的可微遮罩 Loss 來保證顯式網(wǎng)格能夠維持和真值相近的幾何形狀。另一方面，SelfRecon 精巧地設(shè)計(jì)了一種非剛性射線投射算法來求解射線與隱式基準(zhǔn)表面的精準(zhǔn)交點(diǎn)。進(jìn)一步地，SelfRecon 利用隱式神經(jīng)渲染以及交點(diǎn)處的相關(guān)信息來生成該射線的渲染顏色，并將渲染結(jié)果與采集到的顏色真值進(jìn)行比對(duì)，從而自監(jiān)督地逐漸優(yōu)化出目標(biāo)對(duì)象的隱式幾何表示。在該過程中，SelfRecon 也提出并應(yīng)用匹配損失來保證三維顯式表示與隱式表示的一致性，進(jìn)而有效提升優(yōu)化過程的魯棒性。

SelfRecon 的算法流程圖

如下所示，SelfRecon 通過前向變形來建立基準(zhǔn)幀與當(dāng)前幀的聯(lián)系。首先，SelfRecon 會(huì)通過另一個(gè)隱式神經(jīng)網(wǎng)絡(luò)來建模人體運(yùn)動(dòng)帶動(dòng)的衣物的非剛性變形。接著，SelfRecon 會(huì)使用預(yù)生成的蒙皮變形場(chǎng)和當(dāng)前幀的人體 Pose 信息對(duì)目標(biāo)人體進(jìn)行鉸鏈變形。

在計(jì)算射線和隱式基準(zhǔn)曲面交點(diǎn)的過程中，SelfRecon 首先計(jì)算射線與當(dāng)前幀顯式網(wǎng)格的交點(diǎn)，接著 SelfRecon 利用當(dāng)前幀顯式網(wǎng)格和基準(zhǔn)顯式網(wǎng)格的拓?fù)湟恢滦詠慝@得該交點(diǎn)在基準(zhǔn)顯式網(wǎng)格上的對(duì)應(yīng)點(diǎn)。同時(shí)，由于顯式網(wǎng)格理論上是隱式曲面的分片線性估計(jì)，因此該交點(diǎn)應(yīng)接近于射線與隱式曲面的準(zhǔn)確交點(diǎn)。基于此，SelfRecon 將射線與基準(zhǔn)顯式網(wǎng)格的交點(diǎn)作為射線與基準(zhǔn)隱式表示交點(diǎn)的初值，并迭代求解相關(guān)能量來快速生成射線和基準(zhǔn)隱式曲面的準(zhǔn)確交點(diǎn) P。此外，SelfRecon 通過推導(dǎo)隱式表示關(guān)于 P 的隱式微分公式來生成 P 關(guān)于各優(yōu)化變量的一階導(dǎo)數(shù)，進(jìn)而使得整個(gè)渲染過程可以有效反向傳播梯度，并端到端地優(yōu)化整個(gè)渲染過程。相關(guān)過程如下所示：

下圖展示了 SelfRecon 各個(gè)損失能量項(xiàng)的有效性。如下所示，雖然僅使用遮罩損失也能夠恢復(fù)整體的人體形狀，但相關(guān)結(jié)果并無法重建目標(biāo)對(duì)象正確的凹凸形狀。而在添加使用了神經(jīng)渲染損失之后，可以發(fā)現(xiàn)重建結(jié)果得到明顯改進(jìn)，這也證明了顏色信息的重要作用。進(jìn)一步，SelfRecon 也支持利用預(yù)測(cè)的法向?qū)?yōu)化過程進(jìn)行額外監(jiān)督，從而進(jìn)一步提高 SelfRecon 的重建質(zhì)量。

SelfRecon 各損失的作用

下圖展示了 SelfRecon 與當(dāng)前最優(yōu)方法的定性對(duì)比。如下所示，SelfRecon 獲得了 state-of-the-art 的重建效果。效果上，SelfRecon 可以對(duì)寬松衣物進(jìn)行準(zhǔn)確建模，在得到光滑曲面的同時(shí)，還能較好地恢復(fù)一些幾何細(xì)節(jié)，包括衣物的褶皺，手指和面部特征等。

SelfRecon 與其他方法的比較

另外，SelfRecon 的重建結(jié)果天然地支持高清紋理提取和姿態(tài)驅(qū)動(dòng)，以下視頻展示了相關(guān)驅(qū)動(dòng)效果。