NeurIPS 2022 | 中山大學(xué)HCP實(shí)驗(yàn)室在AIGC領(lǐng)域的新突破：有效表示多樣化衣物的3D神經(jīng)表示模型

中山大學(xué) HCP 實(shí)驗(yàn)室聯(lián)合牛津大學(xué) TVG 實(shí)驗(yàn)室共同發(fā)表論文《Structure-Preserving 3D Modeling with Neural Sewing Machines》，該論文已被 NeurIPS 2022 接收。該工作主要由陳曦鵬、王廣潤博士等人完成。

3D 衣物建模是計算機(jī)領(lǐng)域的一個關(guān)鍵且具有挑戰(zhàn)性的任務(wù)，具體是指如何在計算機(jī)中構(gòu)建一件 3D 的虛擬衣物。構(gòu)建 3D 衣物具有多種實(shí)際應(yīng)用，包括 3D 虛擬試衣、虛擬數(shù)字人和服裝設(shè)計。最近基于學(xué)習(xí)的衣物建模方法收到越來越多的關(guān)注，然而，現(xiàn)有方法多針對特定類別或相對簡單拓?fù)涞囊挛镞M(jìn)行建模。

本文提出了 Neural Sewing Machine (NSM)，一種新穎的保持 3D 衣物結(jié)構(gòu)的學(xué)習(xí)框架，可以有效表示多樣化形狀和拓?fù)浣Y(jié)構(gòu)的 3D 衣物，并應(yīng)用于 3D 衣物表征，3D 衣物重建和可控衣物編輯。

論文鏈接: https://arxiv.org/abs/2211.06701

背景

目前基于學(xué)習(xí)的方法要么使用固定的 3D 網(wǎng)格模板，將衣物表示為 SMPL 模型上的位移，或是借助人體的 UV 參數(shù)化來表示衣物。這些方法主要針對特定的衣物類別，或是拓?fù)浣Y(jié)構(gòu)相對簡單的衣物進(jìn)行建模。那么是否存在一個模型可以表達(dá)不同種類且形狀各異的衣物呢？

縫紉紙樣（sewing pattern）是衣物建模和生產(chǎn)中廣泛使用的一種結(jié)構(gòu)。縫紉紙樣由一組 2D 面板以及面板間的縫合信息組成。例如，一條裙子的縫紉紙樣有 4 個 2D 面板（panel）。每個面板對應(yīng)于 3D 衣物的一部分。使用縫紉紙樣來建模 3D 衣物可帶來以下好處：

• 首先，可以表達(dá)各種不同類別和形狀的衣物

• 其次，描述了 3D 衣物的內(nèi)在結(jié)構(gòu)

• 最后，提供了衣物的 UV 參數(shù)化

模型

本文提出了 Neural Sewing Machine（NSM），一種保持 3D 衣物結(jié)構(gòu)的學(xué)習(xí)框架，能夠?qū)W習(xí)不同形狀和拓?fù)涞囊挛锏谋硎?，主要由以下三個模塊組成：

1）縫紉紙樣編碼模塊能夠?qū)⒉煌挛镱悇e的縫紉紙樣編碼到一個低維空間中。一件衣物可以分解為幾個基本部分，例如，一件夾克可以由帽子、袖子和背心部位組成。因此可以將衣服拆解成幾個基本的部件類別，并為每種類別計算一個 PCA 子空間。通過拼接這些類別的 PCA 系數(shù)來獲得縫紉紙樣的特征編碼。

2）3D 衣物預(yù)測模塊負(fù)責(zé)從縫紉紙樣的特征編碼中解碼出 3D 衣物。本文引入了帶有掩模的 UV 位置圖（UV position maps with masks）來表示一件 3D 的衣物。具體來說，UV 位置圖將衣物的 3D 坐標(biāo)存儲在縫紉紙樣每一個面板的 UV 坐標(biāo)處，而掩模圖表示了縫紉紙樣每一個面板的形狀。其中 UV 位置圖是通過一個 CNN ****預(yù)測得到，而預(yù)測的掩模圖通過 inverse PCA 解碼獲得。

3）為了保持 3D 衣物的內(nèi)在結(jié)構(gòu)，本文在框架的訓(xùn)練中引入了四個損失函數(shù): (a)3D 重建損失約束了預(yù)測的 UV 位置圖和 3D 標(biāo)簽相同。(b)面板內(nèi)結(jié)構(gòu)保護(hù)損失約束了縫紉紙樣與對應(yīng)的 3D 衣物在局部的拉伸保持一致。(c)面板間結(jié)構(gòu)保護(hù)損失將 3D 空間中兩個鄰接面板的邊緣縫合在一起。(d)表面法線損失約束了預(yù)測的 3D 衣物應(yīng)具有與 3D 標(biāo)簽相同的表面法線向量。

實(shí)驗(yàn)

實(shí)驗(yàn)表明了我們的框架能夠表示不同的形狀和拓?fù)浣Y(jié)構(gòu)下的 3D 衣物。同時，我們驗(yàn)證了基于單張圖像的 3D 衣物重建任務(wù)，可以看到我們的方法有助于保持衣物的細(xì)節(jié)結(jié)構(gòu)。我們還展示了可控的衣物編輯，通過在縫紉紙樣上進(jìn)行編輯來顯著改變衣物的 3D 形狀或是將衣物從一個類別變換到另一個類別。

消融實(shí)驗(yàn)驗(yàn)證了我們框架中每個組件的有效性。我們還展示了在縫紉紙樣的特征編碼上插值的結(jié)果?？梢钥吹剑?D 縫紉紙樣和 3D 衣物的變化是一致的。最后，我們展示了方法對真實(shí)場景具備一定的泛化能力，盡管我們的框架僅在合成數(shù)據(jù)進(jìn)行訓(xùn)練，合成數(shù)據(jù)與真實(shí)場景之間存在域差距，但結(jié)果證實(shí)了我們方法的具備一定的泛化能力。

實(shí)驗(yàn)室簡介

中山大學(xué)人機(jī)物智能融合實(shí)驗(yàn)室 (HCP Lab) 由林倞教授于 2010 年創(chuàng)辦，圍繞人工智能前沿技術(shù)布局研究課題，獲得中國圖像圖形學(xué)會科技一等獎、吳文俊自然科學(xué)獎、省級自然科學(xué)一等獎等榮譽(yù)；培養(yǎng)了梁小丹、王可澤等國家級青年人才。