NeRF基于線稿生成逼真三維人臉，細(xì)節(jié)風(fēng)格隨意改，論文已上SIGGRAPH（2）

Part 3 效果展示

如圖 5 所示，給定手繪線稿，基于該方法可以生成高質(zhì)量的人臉神經(jīng)輻射場。通過選擇不同的外觀參考圖像，可以指定生成人臉的外觀。用戶可以自由變換視角，都能得到高質(zhì)量的渲染結(jié)果。

圖 5 基于線稿生成的三維人臉。

如圖 6 所示，給定三維人臉，用戶可以選擇任意的視角，對渲染出的線稿進(jìn)行修改，從而編輯人臉 NeRF。左側(cè)展示了對隨機(jī)生成的人臉進(jìn)行編輯的效果。右側(cè)則展示給定人臉圖像后，使用人臉生成模型進(jìn)行反投影，并進(jìn)一步添加編輯的結(jié)果。

圖 6 基于線稿的三維人臉編輯結(jié)果。

如圖 7 所示，針對一個人臉 NeRF，用戶可以在不同視角對人臉添加連續(xù)的編輯操作，使用該方法都能得到較好的編輯結(jié)果，同時，非編輯的立體區(qū)域的特征也被完美保持。

圖 7 基于線稿對人臉進(jìn)行連續(xù)的編輯操作。

如圖 8 所示，得益于生成模型隱空間的良好性質(zhì)，對特定人添加的編輯操作后，計算前后的隱碼差異得到編輯向量，一些情況下可以直接作用于其他人，得到類似的編輯效果。

圖 8 編輯傳播結(jié)果，左側(cè)的編輯操作的效果，可以傳播至右側(cè)人臉。

Part 4 結(jié)語

隨著人工智能的迅速發(fā)展，AI 繪畫也涌現(xiàn)出許多的新的方法。與生成二維圖像不同，如何生成三維數(shù)字內(nèi)容是更具挑戰(zhàn)性的問題。SketchFaceNeRF 提供了一種可行的解決方案，基于手繪線稿，用戶可以生成高質(zhì)量的人臉模型，并支持任意視角的精細(xì)化的編輯。

基于該系統(tǒng)，我們無需安裝繁雜的三維建模軟件并學(xué)習(xí)復(fù)雜的技能，也不需要花費數(shù)個小時時間精力，僅僅通過勾勒簡單的線條，普通用戶也能輕松構(gòu)建心中完美的人臉模型，并得到高質(zhì)量的渲染結(jié)果。

SketchFaceNeRF 已經(jīng)被 ACM SIGGRAPH 2023 接收，并將刊登在期刊 ACM Transactions on Graphics 上。

目前，SketchFaceNeRF 已經(jīng)提供在線服務(wù)供大家使用。在線系統(tǒng)由中科院計算所信息高鐵訓(xùn)練推理平臺 MLOps 提供智算算力支持，由中科南京信息高鐵研究院提供上線工程服務(wù)保障。

在線服務(wù)鏈接：http://geometrylearning.com/SketchFaceNeRF/interface

有關(guān)論文的更多細(xì)節(jié)，及論文、視頻、代碼的下載，請瀏覽項目主頁：

http://www.geometrylearning.com/SketchFaceNeRF/

開源代碼見：

https://github.com/IGLICT/SketchFaceNeRF

參考文獻(xiàn)：

[1] Lin Gao, Feng-Lin Liu, Shu-Yu Chen, Kaiwen Jiang, Chunpeng Li, Yu-Kun Lai, Hongbo Fu. SketchFaceNeRF: Sketch-based Facial Generation and Editing in Neural Radiance Fields. ACM TOG. 2023

[2] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Bj?rn Ommer, High-Resolution Image Synthesis with Latent Diffusion Models, CVPR, 2022

[3] Adding Conditional Control to Text-to-Image Diffusion Models, Lvmin Zhang and Maneesh Agrawala, ArXiv, 2023

[4] Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, and Ren Ng. 2021. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. Commun. ACM 65, 1 (dec 2021), 99–106.

[5] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. 2014. Generative Adversarial Nets. In Advances in Neural Information Processing Systems, Z. Ghahramani, M. Welling, C. Cortes, N. Lawrence, and K.Q. Weinberger (Eds.), Vol. 27. Curran Associates, Inc.

[6] Eric R. Chan, Connor Z. Lin, Matthew A. Chan, Koki Nagano, Boxiao Pan, Shalini de Mello, Orazio Gallo, Leonidas Guibas, Jonathan Tremblay, Sameh Khamis, Tero Karras, and Gordon Wetzstein. 2022. Efficient Geometry-aware 3D Generative Adversarial Networks. CVPR, 2022

[7] Jingxiang Sun, Xuan Wang, Yichun Shi, Lizhen Wang, Jue Wang, and Yebin Liu. 2022. IDE-3D: Interactive Disentangled Editing for High-Resolution 3D-Aware Portrait Synthesis. ACM TOG, 2022,

[8] Kaiwen Jiang, Shu-Yu Chen, Feng-Lin Liu, Hongbo Fu, and Lin Gao. 2022. NeRFFaceEditing: Disentangled Face Editing in Neural Radiance Fields. In SIGGRAPH Asia 2022

[9] Shu-Yu Chen, Wanchao Su, Lin Gao, Shihong Xia, and Hongbo Fu. 2020. DeepFaceDrawing: Deep generation of face images from sketches. ACM TOG, 2020

[10] Shu-Yu Chen, Feng-Lin Liu, Yu-Kun Lai, Paul L. Rosin, Chunpeng Li, Hongbo Fu, and Lin Gao. 2021. DeepFaceEditing: deep face generation and editing with disentangled geometry and appearance control. ACM TOG, 2021

[11] Xun Huang and Serge Belongie. Arbitrary style transfer in real-time with adaptive instance normalization. In CVPR, 2017