谷歌光場技術(shù)平臺，VR視頻和全景視頻到底有什么區(qū)別

谷歌一直堅信虛擬現(xiàn)實(shí)身臨其境的力量，但要創(chuàng)建最為逼真的臨場感，在VR中展示的內(nèi)容需要盡可能接近看到的內(nèi)容。 

光場是一種先進(jìn)的捕捉，拼接和渲染算法。通過為靜態(tài)捕捉圖像生成運(yùn)動視差和非常逼真的紋理和光照，光場可以向你提供極高質(zhì)量的臨場感。 

谷歌的光場技術(shù)

捕捉和處理光場

對于光場，附近的對象似乎相當(dāng)靠近你。當(dāng)你移動頭部的時候，它們看起來的變化會很大。遠(yuǎn)處的對象變化較少，不同對象的光線****也不同，因此你會得到強(qiáng)烈的暗示，認(rèn)為自己正身處于3D空間之中。當(dāng)通過支持位置追蹤的VR頭顯進(jìn)行瀏覽時，光場可以根據(jù)真實(shí)世界中捕獲的片段實(shí)現(xiàn)真正令人驚嘆的VR體驗(yàn)。

這一切的原因在于光場可以記錄進(jìn)入空間的所有不同光線。為了記錄它們，谷歌改裝了一臺GoPro Odyssey Jump相機(jī)平臺，將其彎曲成16個鏡頭的垂直弧形并安裝在旋轉(zhuǎn)平臺上。

左：在發(fā)現(xiàn)號航天飛船甲板上拍攝的球形光場延時拍攝視頻。

右：光場渲染允許我們通過對鏡頭記錄的光線進(jìn)行采樣和插值，并且在球形空間內(nèi)的任何位置合成新場景視圖。

相機(jī)平臺旋轉(zhuǎn)并錄制70厘米球體上的大約1000個外向視角大概需要1分鐘。這提供了一個兩英尺寬的光線量，而后者決定了頂部空間的大小，亦即用戶為探索場景而轉(zhuǎn)動頭部的空間。為了向頭顯渲染視圖，谷歌從球體表面上的相機(jī)位置采樣光線，從而構(gòu)建從球體內(nèi)部看到的新視圖，并以此匹配用戶移動頭部的方式。它們在一個自定義數(shù)據(jù)集文件中對齊和壓縮，據(jù)小編了解谷歌是通過作為Unity游戲引擎插件的特殊渲染軟件讀取這個數(shù)據(jù)集文件。

用光場記錄世界

谷歌選擇了數(shù)個特殊場所來測試他們的光場相機(jī)平臺。谷歌表示，他們鐘愛帕薩迪納蓋博住宅(Gamble House)的亮漆柚木和紅木內(nèi)飾，威尼斯馬賽克小屋(Mosaic Tile House)的光澤陶瓷和閃亮，以及格拉納達(dá)山圣斯蒂芬教堂那陽光瀲滟的彩色玻璃窗。最重要的是，史密森學(xué)會的航空航天博物館和3D數(shù)字化辦公室允許谷歌進(jìn)入NASA的發(fā)現(xiàn)號航天飛船，在這個不對外開放的飛行甲板中為我們提供宇航員的視角。最后谷歌錄制了一系列的光場，并且實(shí)驗(yàn)了眼神接觸如何應(yīng)用于6自由度體驗(yàn)。

VR視頻是探索世界的一項光明技術(shù)。盡管只是實(shí)驗(yàn)，但光場向我們展示了VR體驗(yàn)可以實(shí)現(xiàn)的逼真水平 。

VR視頻和全景視頻的區(qū)別

VR視頻與全景視頻有什么區(qū)別?

我們用一張圖來說明360度全景視頻和VR視頻的不同：

全景視頻很好理解，就是有別于傳統(tǒng)視頻單一的觀看視角，讓人們可以360度自由觀看。而VR視頻在此基礎(chǔ)上，還允許人們在視頻里自由移動觀看（提供場景中任意位置的360度自由視角）。

全景視頻可以是3D的也可以不是，可以通過屏幕觀看，也可以帶上眼鏡觀看。而VR視頻必須帶上頭顯觀看，且必須是3D的。

全景視頻是線性播放的，也就是按照時間軸來進(jìn)行回放的。而VR視頻可以允許用戶在同一時間，站在不同的位置觀看（有點(diǎn)類似科幻電影里時間暫停了，然后觀察者在定格的時間和空間里任意移動，觀看周圍的人物和景物）。

全景視頻和VR視頻有什么相似之處？

1.都可以是3D的（全景視頻也有2D版）；

2.都能360度上下、左右旋轉(zhuǎn)觀看；

3.具有視覺沉浸感。

那有什么不同呢？

最大區(qū)別就是VR視頻允許觀看者在場景里自由走動觀察，但全景視頻不行，拍攝機(jī)位在哪兒，觀看者就必須在哪兒，頂多只能原地360度觀看。

如果是一部VR電影，那么傳統(tǒng)的“鏡頭運(yùn)動、場景切換、Zoom In or Zoom Out”可能都將被取代，由觀眾來決定鏡頭位置。你可以把VR視頻看成是“3D全景視頻+自由移動”。

所以，現(xiàn)在大家所看到的基本都是“偽VR視頻”，各大視頻網(wǎng)站上標(biāo)稱的VR視頻也基本都是360度全景視頻。而打著“VR相機(jī)”口號行銷的其實(shí)大部分都是360度全景相機(jī)。那么，我們不禁要問，真正的VR視頻是什么樣呢？

真正的VR視頻目前只能通過CG實(shí)現(xiàn)

如何才能拍攝出真正的VR視頻呢？很遺憾，以現(xiàn)在的技術(shù)手段和設(shè)備能力還很難實(shí)現(xiàn)。所以到目前為止，我們還沒有看到過一部真正意義上的VR視頻是被實(shí)際拍攝出來的。因?yàn)橐慌_攝像機(jī)只能捕捉一個位置的光線，而要實(shí)現(xiàn)場景里的自由移動，需要捕捉場景里任意位置的光線，顯然我們無法在場景里安置那么多攝像機(jī)，這是矛盾的?，F(xiàn)今的谷歌光場技術(shù)是否能解決這問題？

那未來有沒有可能呢？答案是肯定的。

要拍攝真正意義上的VR視頻，我們需要光場攝像機(jī)。

什么是光場攝像機(jī)？這絕對是一個黑科技，很難用幾句話表述清楚。大概意思就是通過矩陣式攝像頭（非常非常多的微型攝像頭），捕捉和記錄周圍不同角度射入的光線信號，再利用計算機(jī)后期合成出任意位置的圖像。

Lytro公司去年發(fā)布的360度光場攝像機(jī)

Immerge，其內(nèi)部的數(shù)百個鏡頭和圖像傳感器分為五個“層”（你可以想象每層都是20部GoPro相機(jī)組合在一起），除此之外還配套專用的服務(wù)器和編輯工具等。

與傳統(tǒng)攝像機(jī)不同的是，光場攝像機(jī)除了記錄色彩和光線強(qiáng)度信息外，還會記錄光線的射入方向——這就是“光場”技術(shù)的由來。

有了從四面八方射入的光的方向信息，再利用算法，就能對環(huán)境進(jìn)行分析，逆向建模，從而還原出一個三維的環(huán)境模型。這和計算機(jī)建模（CG）的結(jié)果是相似的，只不過CG是人為主觀“虛構(gòu)”模型，而光場攝像機(jī)是逆向方式“客觀”還原模型。

有了三維模型，計算機(jī)便可以實(shí)時計算出任意位置的視覺圖像，3D+360度全景也沒有問題。這就是說，光場攝像機(jī)所在的位置拍攝到的景象是真實(shí)的，而自由移動位置后看到的景象是通過電腦后期合成的。

Lytro公司坦言目前他們只能做到視角在一定范圍的左右和前后移動，要想“看到”物體背面的樣子還不行（也許要對反射光進(jìn)行計算和建模）。所以要實(shí)現(xiàn)真正意義上的VR視頻，還是電腦建模然后實(shí)時渲染輸出最簡單。

如今所有的VR游戲，都可以看作是VR視頻。不僅可以3D顯示+360度全景，還可以自由移動，甚至控制時間軸也沒有問題。只是，VR視頻都用計算機(jī)建模了，還有拍攝什么事情呢？我們要繼續(xù)討論VR視頻的拍攝過程嗎？

當(dāng)然要，全景視頻雖然是“偽VR視頻”，但全景視頻還是可以被認(rèn)為是VR視頻的初級階段。因?yàn)槿耙曨l加上3D效果也能帶來沉浸感，相比普通視頻已經(jīng)有了質(zhì)的飛躍，應(yīng)用領(lǐng)域也非常廣闊，值得我們?nèi)L試和探索。

未來VR的呈現(xiàn)方式會趨向多元化，頭顯本身的發(fā)展也會從目前眼前單一屏幕向光場化真實(shí)化邁進(jìn)，目前以Magic Leap為代表的國內(nèi)外研究機(jī)構(gòu)在光場頭戴式顯示進(jìn)行探索，這種頭顯可以讓人眼聚焦在虛擬物體的不同深度，而不是一塊顯示屏上; 最后，應(yīng)用方式上，谷歌Welcome to Light Field為我們提供了一個很好的范例，更好的光場應(yīng)用方式還需要進(jìn)一步研究探索，比如，虛擬的光場和真實(shí)世界的逼真融合以及自然的交互也會成為學(xué)界和產(chǎn)業(yè)界的熱點(diǎn)。"