三維重建技術(shù)概述

三維重建技術(shù)通過(guò)深度數(shù)據(jù)獲取、預(yù)處理、點(diǎn)云配準(zhǔn)與融合、生成表面等過(guò)程，把真實(shí)場(chǎng)景刻畫成符合計(jì)算機(jī)邏輯表達(dá)的數(shù)學(xué)模型。這種模型可以對(duì)如文物保護(hù)、游戲開(kāi)發(fā)、建筑設(shè)計(jì)、臨床醫(yī)學(xué)等研究起到輔助的作用。

一、研究背景及意義人類通過(guò)雙眼來(lái)探索與發(fā)現(xiàn)世界。人類接收外部信息的方式中，有不到三成來(lái)自于聽(tīng)覺(jué)、觸覺(jué)、嗅覺(jué)等感受器官，而超過(guò)七成、最豐富、最復(fù)雜的信息則通過(guò)視覺(jué)[1]進(jìn)行感知的。計(jì)算機(jī)視覺(jué)便是一種探索給計(jì)算機(jī)裝備眼睛（攝像頭）與大腦（算法）的技術(shù)，以使計(jì)算機(jī)能夠自主獨(dú)立的控制行為、解決問(wèn)題，同時(shí)感知、理解、分析外部環(huán)境。

20世紀(jì)60年代，計(jì)算機(jī)視覺(jué)得到了最初的發(fā)展。該階段的研究重心主要體現(xiàn)在如何從二維圖像中恢復(fù)出如立方體、圓柱體等立體化的三維形狀，解釋各個(gè)物體的空間位置關(guān)系。

1982年，David Marr[2]從信息處理的角度對(duì)數(shù)學(xué)、神經(jīng)生理學(xué)、計(jì)算機(jī)圖形學(xué)等學(xué)科的研究成果進(jìn)行了歸納總結(jié)，并在此基礎(chǔ)上提出了一系列計(jì)算機(jī)視覺(jué)理論。得益于這個(gè)完整明確的理論體系，計(jì)算機(jī)視覺(jué)得到了蓬勃的發(fā)展。它的核心思想是從二維圖像恢復(fù)三維結(jié)構(gòu)。圖1-1展示的是經(jīng)典Marr視覺(jué)信息處理過(guò)程。

圖1-1 Marr視覺(jué)信息處理過(guò)程

隨著科學(xué)技術(shù)的日新月異，計(jì)算機(jī)視覺(jué)的應(yīng)用日益受到各行業(yè)的關(guān)注和重視，如設(shè)備檢測(cè)與監(jiān)視、醫(yī)學(xué)圖像處理、文物保護(hù)[3]、機(jī)器人視覺(jué)、自動(dòng)導(dǎo)航、工業(yè)產(chǎn)品外觀設(shè)計(jì)與生產(chǎn)等領(lǐng)域。計(jì)算機(jī)視覺(jué)技術(shù)為人們帶來(lái)了機(jī)遇，也帶來(lái)了挑戰(zhàn)。

三維重建作為計(jì)算機(jī)視覺(jué)技術(shù)中最為最為熱門的研究方向之一，涉及到包括圖像處理、立體視覺(jué)、模式識(shí)別等多個(gè)學(xué)科體系。利用計(jì)算機(jī)建立表達(dá)現(xiàn)實(shí)客觀景物的三維模型，并以此來(lái)滿足生產(chǎn)和生活的需要。隨著工業(yè)化進(jìn)程的不斷發(fā)展，多種技術(shù)的實(shí)現(xiàn)均有賴于目標(biāo)物體三維信息的獲取。三維重建現(xiàn)已被廣泛的應(yīng)用于生活和科研工作中，特別是在醫(yī)學(xué)治療、文物保護(hù)、游戲開(kāi)發(fā)、工業(yè)設(shè)計(jì)、航天航海等方面，展現(xiàn)出了極強(qiáng)的生命力和影響力。

二、 三維重建技術(shù)簡(jiǎn)介

三維重建技術(shù)的重點(diǎn)在于如何獲取目標(biāo)場(chǎng)景或物體的深度信息。在景物深度信息已知的條件下，只需要經(jīng)過(guò)點(diǎn)云數(shù)據(jù)[4]的配準(zhǔn)及融合，即可實(shí)現(xiàn)景物的三維重建?；谌S重建模型的深層次應(yīng)用研究也可以隨即展開(kāi)。人們按照被動(dòng)式測(cè)量與主動(dòng)式測(cè)量[5]對(duì)目標(biāo)物體深度信息的獲取方法進(jìn)行了分類，下面對(duì)這兩種方式進(jìn)行相應(yīng)的介紹。

1、被動(dòng)式三維重建技術(shù)

被動(dòng)式一般利用周圍環(huán)境如自然光的反射，使用相機(jī)獲取圖像，然后通過(guò)特定算法計(jì)算得到物體的立體空間信息。主要有以下三種方法：

1.1 紋理恢復(fù)形狀法

各種物體表面具有不同的紋理信息，這種信息由紋理元組成，根據(jù)紋理元可以確定表面方向，從而恢復(fù)出相應(yīng)的三維表面。這種方法稱為紋理恢復(fù)形狀法[6] (Shape From Texture，SFT)。

紋理法的基本理論為：作為圖像視野中不斷重復(fù)的視覺(jué)基元，紋理元覆蓋在各個(gè)位置和方向上。當(dāng)某個(gè)布滿紋理元的物體被投射在平面上時(shí)，其相應(yīng)的紋理元也會(huì)發(fā)生彎折與變化。例如****收縮變形使與圖像平面夾角越小的紋理元越長(zhǎng)，投影變形會(huì)使離圖像平面越近的紋理元越大。通過(guò)對(duì)圖像的測(cè)量來(lái)獲取變形，進(jìn)而根據(jù)變形后的紋理元，逆向計(jì)算出深度數(shù)據(jù)。SFT對(duì)物體表面紋理信息的要求嚴(yán)苛，需要了解成像投影中紋理元的畸變信息，應(yīng)用范圍較窄，只適合紋理特性確定等某些特殊情形。所有在實(shí)際使用中較為少見(jiàn)。

1.2 陰影恢復(fù)形狀法

SFS[7] (Shape From Shading，從陰影恢復(fù)形狀)法也是一種較為常用的方法?？紤]到圖像的陰影邊界包含了圖像的輪廓特征信息，因此能夠利用不同光照條件下的圖像的明暗程度與陰影來(lái)計(jì)算物體表面的深度信息，并以反射光照模型進(jìn)行三維重建。需要注意的是，像素點(diǎn)的亮度受到包括光源指標(biāo)、攝像機(jī)參數(shù)、目標(biāo)表面材質(zhì)等的制約。

陰影恢復(fù)形狀法的應(yīng)用范圍比較廣泛，可以恢復(fù)除鏡面外的各種物體的三維模型。缺點(diǎn)體現(xiàn)在過(guò)程多為數(shù)學(xué)計(jì)算、重建結(jié)果不夠精細(xì)，另外不能忽視的是，SFS法需要準(zhǔn)確的光源參數(shù)，包括位置與方向信息。這就導(dǎo)致其無(wú)法應(yīng)用于諸如露天場(chǎng)景等具有復(fù)雜光線的情形中。

1.3 立體視覺(jué)法

立體視覺(jué)法[8]（Multi-View Stereo，MVS)是另外一種常用的三維重建方法。主要包括直接利用測(cè)距器獲取程距信息、通過(guò)一幅圖像推測(cè)三維信息和利用不同視點(diǎn)上的兩幅或多幅圖像恢復(fù)三維信息等三種方式。通過(guò)模擬人類視覺(jué)系統(tǒng)，基于視差原理獲取圖像對(duì)應(yīng)點(diǎn)之間的位置偏差，恢復(fù)出三維信息。S.T.Barnard[9]等人對(duì)20世紀(jì)70年代到80年代之間出現(xiàn)的三維重建的算法和評(píng)價(jià)體系做了概述。

到了80年代中后期，出現(xiàn)了更多、更深層次的視覺(jué)原理，包括立體測(cè)量方法和深度傳感器等，極大的促進(jìn)了相關(guān)學(xué)科的發(fā)展。新興方法可以直接獲取景物的三維信息，極大的節(jié)省了物力與人力成本。U.R.Dhond[10]等人提出了基于層次處理的三目立體約束方法。二十世紀(jì)90年代末，涌現(xiàn)出諸如圖像匹配的前沿算法、遮擋處理算法等。M.Z.Brown[11]等人總結(jié)了2000年到2010年間的三維視覺(jué)發(fā)展的總體概況，包括遮擋、配準(zhǔn)和效率等的相關(guān)分析。

雙目立體視覺(jué)重建，在實(shí)際應(yīng)用情況優(yōu)于其他基于視覺(jué)的三維重建方法，也逐漸出現(xiàn)在一部分商業(yè)化產(chǎn)品上; 不足的是運(yùn)算量仍然偏大，而且在基線距離較大的情況下重建效果明顯降低 。

代表文章：AKIMOIO T Automatic creation of 3D facial models 1993

CHEN C L Visual binocular vison systems to solid model reconstruction2007

作為計(jì)算機(jī)視覺(jué)的關(guān)鍵技術(shù)之一，立體視覺(jué)法也其弊端。例如，立體視覺(jué)需要假設(shè)空間的平面是正平面，而實(shí)際情況卻與此相差甚遠(yuǎn)。除此之外，匹配還存在歧義性：對(duì)于一幅圖像上的某些特征點(diǎn)，另外的圖像可能存在若干個(gè)與之相似的特征點(diǎn)。那么如何選取最適配的匹配點(diǎn)，顯得較為棘手。如圖1-2所示，展示了Middlebury[16]數(shù)據(jù)集中Teddy和Cones場(chǎng)景的基準(zhǔn)彩色圖像、標(biāo)準(zhǔn)視差以及通過(guò)Graph Cuts[17]算法獲取的立體匹配視差估計(jì)結(jié)果。雖然視差結(jié)果體現(xiàn)出了景物的三維位置關(guān)系，但是某些像素點(diǎn)的視差與標(biāo)準(zhǔn)值仍有細(xì)微的差距。除此之外，對(duì)于如相機(jī)運(yùn)動(dòng)參數(shù)的確定、大型場(chǎng)景重建需要獲取多幀圖像等問(wèn)題，也極大的影響了立體視覺(jué)的深層次應(yīng)用。

圖1-2(a) 基準(zhǔn)彩色圖像

圖1-2(b) 標(biāo)準(zhǔn)視差

參考：立體匹配導(dǎo)論

2、主動(dòng)式三維重建技術(shù)

主動(dòng)式是指利用如激光、聲波、電磁波等光源或能量源****至目標(biāo)物體，通過(guò)接收返回的光波來(lái)獲取物體的深度信息。主動(dòng)測(cè)距有莫爾條紋法、飛行時(shí)間法、結(jié)構(gòu)光法和三角測(cè)距法等四種方法。

1.莫爾條紋法

莫爾條紋在生活中比較常見(jiàn)，如兩層薄薄的絲綢重疊在一起，即可以看到不規(guī)則的莫爾(Morie)條紋；微風(fēng)的吹動(dòng)窗紗時(shí)，條紋亦隨之運(yùn)動(dòng)。莫爾條紋法[18]起源于18世紀(jì)的法國(guó)，是一項(xiàng)古老又現(xiàn)代的測(cè)量方法?；驹硎菍蓧K等間隔排列的直線簇或曲線簇圖案重疊起來(lái)，以非常小的角度進(jìn)行相對(duì)運(yùn)動(dòng)來(lái)形成莫爾條紋。如圖1-3所示，在主光柵與指示光柵的交叉重合處，因光線的透射與遮擋而產(chǎn)生不同的明暗帶，即莫爾條紋。莫爾條紋隨著光柵的左右平移而發(fā)生垂直位移，此時(shí)產(chǎn)生的條紋相位信息體現(xiàn)了待測(cè)物體表面的深度信息，再通過(guò)逆向的解調(diào)函數(shù)，實(shí)現(xiàn)深度信息的恢復(fù)。這種方法具有精度高、實(shí)時(shí)性強(qiáng)的優(yōu)點(diǎn)，但是其對(duì)光照較為敏感，抗干擾能力弱。

圖1-3 雙光柵莫爾條紋法

提出：WIKTIN recovering surface shape and orientation from texture (1987)（被引用454 次）。

發(fā)展：Warren 2010 對(duì) wiktin 方法進(jìn)行改進(jìn)使用了****投影；

Liboy 2006 給出了在紋理單元結(jié)構(gòu)發(fā)生改變的情況下的重建方法。

優(yōu)點(diǎn)：精度高，對(duì)光照和噪聲不敏感。

缺點(diǎn)：只應(yīng)用于具有規(guī)則紋理的物體。

2.飛行時(shí)間法

飛行時(shí)間法[19] (Time of Flight，ToF)指的是在光速及聲速一定的前提下，通過(guò)測(cè)量****信號(hào)與接收信號(hào)的飛行時(shí)間間隔來(lái)獲得距離的方法。這種信號(hào)可以是超聲波，也可以是紅外線等。飛行時(shí)間法相較于立體視覺(jué)法而言，具有不受基線長(zhǎng)度限制、與紋理無(wú)關(guān)、成像速度快等特點(diǎn)。但是其也有一定的缺點(diǎn)。首先，ToF相機(jī)的分辨率非常低。例如圖1-4所示，當(dāng)今分辨率最高的PMD Camcube 2.0 相機(jī)，也僅為204×204像素；其次，ToF相機(jī)容易受到環(huán)境因素的影響，如混合像素、外界光源等，導(dǎo)致景物深度不準(zhǔn)確；最后，系統(tǒng)誤差與隨機(jī)誤差對(duì)測(cè)量結(jié)果的影響很大，需要進(jìn)行后期數(shù)據(jù)處理，主要體現(xiàn)在場(chǎng)景像素點(diǎn)的位置重合上。值得注意的是，ToF相機(jī)的售價(jià)達(dá)到了數(shù)萬(wàn)美元，受眾較窄。

圖1-4 SR4000 ToF相機(jī)

3.結(jié)構(gòu)光法

結(jié)構(gòu)光法[20](Structured Light)通過(guò)向表面光滑無(wú)特征的物體****具有特征點(diǎn)的光線，依據(jù)光源中的立體信息輔助提取物體的深度信息。具體的過(guò)程包括兩個(gè)步驟，首先利用激光投影儀向目標(biāo)物體投射可編碼的光束，生成特征點(diǎn)；然后根據(jù)投射模式與投射光的幾何圖案，通過(guò)三角測(cè)量原理計(jì)算攝像機(jī)光心與特征點(diǎn)之間的距離，由此便可獲取生成特征點(diǎn)的深度信息，實(shí)現(xiàn)模型重建。這種可編碼的光束就是結(jié)構(gòu)光，包括各種特定樣式的點(diǎn)、線、面等圖案。結(jié)構(gòu)光法解決了物體表面平坦、紋理單一、灰度變化緩慢等問(wèn)題。因?yàn)閷?shí)現(xiàn)簡(jiǎn)單且精度較高，所以結(jié)構(gòu)光法的應(yīng)用非常廣泛，目前已有多家公司生產(chǎn)了以結(jié)構(gòu)光技術(shù)為基礎(chǔ)的硬件設(shè)備，如PrimeSense公司的Prime Sensor、微軟公司的Kinect和華碩公司的Xtion PRO LIVE等產(chǎn)品[21]。圖1-5展示了利用結(jié)構(gòu)光技術(shù)采集文物三維信息的場(chǎng)景。

提出：Woodham 對(duì) SFS 進(jìn)行改進(jìn)（1980 年）：photometric method for determining surface orientation from multiple images (該文章被引用了 891 次)

發(fā)展：Noakes ：非線性與噪聲減除 2003 年；

Horocitz ：梯度場(chǎng)合控制點(diǎn) 2004 年；

Tang ：可信度傳遞與馬爾科夫隨機(jī)場(chǎng) 2005 年；

Basri ：光源條件未知情況下的三維重建 2007 年；

Sun ：非朗伯特 2007 年；

Hernandez ：彩色光線進(jìn)行重建方法 2007 年；

Shi ：自標(biāo)定的光度立體視覺(jué)法 2010 年。

圖1-5 結(jié)構(gòu)光法原理圖

4.三角測(cè)距法

三角測(cè)距法[22]是一種非接觸式的測(cè)距方法，以三角測(cè)量原理為基礎(chǔ)。紅外設(shè)備以一定的角度向物體投射紅外線，光遇到物體后發(fā)生反射并被CCD（Charge-coupled Device，電荷耦合元件）圖像傳感器所檢測(cè)。隨著目標(biāo)物體的移動(dòng)，此時(shí)獲取的反射光線也會(huì)產(chǎn)生相應(yīng)的偏移值。根據(jù)****角度、偏移距離、中心矩值和位置關(guān)系，便能計(jì)算出****到物體之間的距離。三角測(cè)距法在軍工測(cè)量、地形勘探等領(lǐng)域中應(yīng)用廣泛。

參考文獻(xiàn)

[1] Szeliski R. Computer vision: algorithms and applications[M]. Berlin: Springer, 2010.

[2] D. Marr, et al. A Computational Theory of Human Stereo Vision. Proc.R.Soc.Lond. 1979, B.204:301-328.

[3] Levoy, M. Pulli, et al. The Digital Michelangelo Project:3D Scanning of Large Statues. Proc.SIGGRAPH,2000.

[4] Anand A, Koppula H S, Joachims T, et al. Contextually guided semantic labeling and search for three-dimensional point clouds[J]. The International Journal of Robotics Research, 2013, 32(1):19-34.

[5] Mada S K, Smith M L, Smith L N, et al. Overview of passive and active vision techniques for hand-held 3D data acquisition [C]//Opto Ireland. International Society for Optics and Photonics, 2003: 16-27.

[6] D. A. Forsyth, J. Ponce, Computer Vision: A Modern Approach. Prentice Hall 2001

[7] Horn B. K. P. Shape from shading: a method for obtaining the shape of a smooth opaque object from one view. PhD thesis, Department of Electrical Engineering, MIT, Cambridge. 1970.

[8] Ikeuchi K. Determining surface orientations of specular surfaces by using the photometric stereo method [J]. Pattern Analysis and Machine Intelligence, IEEE Transactions, 1981, (6): 661-669.

[9] S. T. Barnard, M. A. Fisehler. Computational Stereo[J].ACM Computing Surveys. 1982, Vol.14:553-572.

[10] U. R. Dhond, J. K. Aggarval. Struct from Stereo—A Review [J]. IEEE Trans. Systems, Man, and Cybemeties.1989, Vol.19: 1489-1510.

來(lái)源：http://blog.csdn.net/wangyaninglm/article/details/51558310

作者：shiter@CSDN

編輯：3D視覺(jué)開(kāi)發(fā)者社區(qū)