從谷歌的光場技術(shù)平臺，談談VR視頻和全景視頻到底有什么區(qū)別

谷歌一直堅信虛擬現(xiàn)實身臨其境的力量，但要創(chuàng)建最為逼真的臨場感，在VR中展示的內(nèi)容需要盡可能接近看到的內(nèi)容。 

光場是一種先進的捕捉，拼接和渲染算法。通過為靜態(tài)捕捉圖像生成運動視差和非常逼真的紋理和光照，光場可以向你提供極高質(zhì)量的臨場感。為了展示這種技術(shù)的潛力，谷歌曾經(jīng)在Steam上發(fā)行了免費應用“Welcome to Light Fields”，支持HTC Vive，Oculus Rift和WMR頭顯。 

谷歌的光場技術(shù)

捕捉和處理光場

對于光場，附近的對象似乎相當靠近你。當你移動頭部的時候，它們看起來的變化會很大。遠處的對象變化較少，不同對象的光線****也不同，因此你會得到強烈的暗示，認為自己正身處于3D空間之中。當通過支持位置追蹤的VR頭顯進行瀏覽時，光場可以根據(jù)真實世界中捕獲的片段實現(xiàn)真正令人驚嘆的VR體驗。

這一切的原因在于光場可以記錄進入空間的所有不同光線。為了記錄它們，谷歌改裝了一臺GoPro Odyssey Jump相機平臺，將其彎曲成16個鏡頭的垂直弧形并安裝在旋轉(zhuǎn)平臺上。

左：在發(fā)現(xiàn)號航天飛船甲板上拍攝的球形光場延時拍攝視頻。

右：光場渲染允許我們通過對鏡頭記錄的光線進行采樣和插值，并且在球形空間內(nèi)的任何位置合成新場景視圖。

相機平臺旋轉(zhuǎn)并錄制70厘米球體上的大約1000個外向視角大概需要1分鐘。這提供了一個兩英尺寬的光線量，而后者決定了頂部空間的大小，亦即用戶為探索場景而轉(zhuǎn)動頭部的空間。為了向頭顯渲染視圖，谷歌從球體表面上的相機位置采樣光線，從而構(gòu)建從球體內(nèi)部看到的新視圖，并以此匹配用戶移動頭部的方式。它們在一個自定義數(shù)據(jù)集文件中對齊和壓縮，據(jù)小編了解谷歌是通過作為Unity游戲引擎插件的特殊渲染軟件讀取這個數(shù)據(jù)集文件。

用光場記錄世界

谷歌選擇了數(shù)個特殊場所來測試他們的光場相機平臺。谷歌表示，他們鐘愛帕薩迪納蓋博住宅(Gamble House)的亮漆柚木和紅木內(nèi)飾，威尼斯馬賽克小屋(Mosaic Tile House)的光澤陶瓷和閃亮，以及格拉納達山圣斯蒂芬教堂那陽光瀲滟的彩色玻璃窗。最重要的是，史密森學會的航空航天博物館和3D數(shù)字化辦公室允許谷歌進入NASA的發(fā)現(xiàn)號航天飛船，在這個不對外開放的飛行甲板中為我們提供宇航員的視角。最后谷歌錄制了一系列的光場，并且實驗了眼神接觸如何應用于6自由度體驗。

VR視頻是探索世界的一項光明技術(shù)。盡管只是實驗，但光場向我們展示了VR體驗可以實現(xiàn)的逼真水平 。

VR視頻和全景視頻的區(qū)別

VR視頻與全景視頻有什么區(qū)別?

我們用一張圖來說明360度全景視頻和VR視頻的不同：

全景視頻很好理解，就是有別于傳統(tǒng)視頻單一的觀看視角，讓人們可以360度自由觀看。而VR視頻在此基礎(chǔ)上，還允許人們在視頻里自由移動觀看（提供場景中任意位置的360度自由視角）。

全景視頻可以是3D的也可以不是，可以通過屏幕觀看，也可以帶上眼鏡觀看。而VR視頻必須帶上頭顯觀看，且必須是3D的。

全景視頻是線性播放的，也就是按照時間軸來進行回放的。而VR視頻可以允許用戶在同一時間，站在不同的位置觀看（有點類似科幻電影里時間暫停了，然后觀察者在定格的時間和空間里任意移動，觀看周圍的人物和景物）。

全景視頻和VR視頻有什么相似之處？

1.都可以是3D的（全景視頻也有2D版）；

2.都能360度上下、左右旋轉(zhuǎn)觀看；

3.具有視覺沉浸感。

那有什么不同呢？

最大區(qū)別就是VR視頻允許觀看者在場景里自由走動觀察，但全景視頻不行，拍攝機位在哪兒，觀看者就必須在哪兒，頂多只能原地360度觀看。

如果是一部VR電影，那么傳統(tǒng)的“鏡頭運動、場景切換、Zoom In or Zoom Out”可能都將被取代，由觀眾來決定鏡頭位置。你可以把VR視頻看成是“3D全景視頻+自由移動”。

所以，現(xiàn)在大家所看到的基本都是“偽VR視頻”，各大視頻網(wǎng)站上標稱的VR視頻也基本都是360度全景視頻。而打著“VR相機”口號行銷的其實大部分都是360度全景相機。那么，我們不禁要問，真正的VR視頻是什么樣呢？

真正的VR視頻目前只能通過CG實現(xiàn)

如何才能拍攝出真正的VR視頻呢？很遺憾，以現(xiàn)在的技術(shù)手段和設(shè)備能力還很難實現(xiàn)。所以到目前為止，我們還沒有看到過一部真正意義上的VR視頻是被實際拍攝出來的。因為一臺攝像機只能捕捉一個位置的光線，而要實現(xiàn)場景里的自由移動，需要捕捉場景里任意位置的光線，顯然我們無法在場景里安置那么多攝像機，這是矛盾的?，F(xiàn)今的谷歌光場技術(shù)是否能解決這問題？

那未來有沒有可能呢？答案是肯定的。

要拍攝真正意義上的VR視頻，我們需要光場攝像機。

什么是光場攝像機？這絕對是一個黑科技，很難用幾句話表述清楚。大概意思就是通過矩陣式攝像頭（非常非常多的微型攝像頭），捕捉和記錄周圍不同角度射入的光線信號，再利用計算機后期合成出任意位置的圖像。

Lytro公司去年發(fā)布的360度光場攝像機

Immerge，其內(nèi)部的數(shù)百個鏡頭和圖像傳感器分為五個“層”（你可以想象每層都是20部GoPro相機組合在一起），除此之外還配套專用的服務器和編輯工具等。

與傳統(tǒng)攝像機不同的是，光場攝像機除了記錄色彩和光線強度信息外，還會記錄光線的射入方向——這就是“光場”技術(shù)的由來。

有了從四面八方射入的光的方向信息，再利用算法，就能對環(huán)境進行分析，逆向建模，從而還原出一個三維的環(huán)境模型。這和計算機建模（CG）的結(jié)果是相似的，只不過CG是人為主觀“虛構(gòu)”模型，而光場攝像機是逆向方式“客觀”還原模型。

有了三維模型，計算機便可以實時計算出任意位置的視覺圖像，3D+360度全景也沒有問題。這就是說，光場攝像機所在的位置拍攝到的景象是真實的，而自由移動位置后看到的景象是通過電腦后期合成的。

Lytro公司坦言目前他們只能做到視角在一定范圍的左右和前后移動，要想“看到”物體背面的樣子還不行（也許要對反射光進行計算和建模）。所以要實現(xiàn)真正意義上的VR視頻，還是電腦建模然后實時渲染輸出最簡單。

如今所有的VR游戲，都可以看作是VR視頻。不僅可以3D顯示+360度全景，還可以自由移動，甚至控制時間軸也沒有問題。只是，VR視頻都用計算機建模了，還有拍攝什么事情呢？我們要繼續(xù)討論VR視頻的拍攝過程嗎？

當然要，全景視頻雖然是“偽VR視頻”，但全景視頻還是可以被認為是VR視頻的初級階段。因為全景視頻加上3D效果也能帶來沉浸感，相比普通視頻已經(jīng)有了質(zhì)的飛躍，應用領(lǐng)域也非常廣闊，值得我們?nèi)L試和探索。

未來VR的呈現(xiàn)方式會趨向多元化，頭顯本身的發(fā)展也會從目前眼前單一屏幕向光場化真實化邁進，目前以Magic Leap為代表的國內(nèi)外研究機構(gòu)在光場頭戴式顯示進行探索，這種頭顯可以讓人眼聚焦在虛擬物體的不同深度，而不是一塊顯示屏上; 最后，應用方式上，谷歌Welcome to Light Field為我們提供了一個很好的范例，更好的光場應用方式還需要進一步研究探索，比如，虛擬的光場和真實世界的逼真融合以及自然的交互也會成為學界和產(chǎn)業(yè)界的熱點。"

- END -