Magic Leap和微軟為什么要做AR眼鏡：關(guān)于原理及挑戰(zhàn)

　　那么 Stereoscopic 3D 的問題就來了。因為 Stereoscopic 的投射距離總是固定的(也就是 accommodation distance 不變)，而圖片的 disparity 會讓眼睛會聚在不同的距離(vergence distance)以產(chǎn)生景深 3D 效果(見下圖B)。所以，這兩種距離經(jīng)常是不一致的(vergence distance ≠ accommodation distance)，會造成這兩種神經(jīng)相連的運動強行分離(neurally decoupled)。

　　從另一個角度講，在自然世界里，當(dāng)人眼聚焦并會聚到一個物體時，別的距離的物體應(yīng)該都是模糊的(下圖C)。而在Stereoscopic 3D 里，不管人眼聚焦到哪兒，別的距離的物體成像都是清楚的(下圖D)。

　　這些都不符合自然界人眼的規(guī)律，因此大腦會產(chǎn)生混亂，長時間就會引起惡心暈眩等癥狀。所以 Stereoscopic 其實是用了一個小伎倆讓人能看到 3D 效果，但它并不是真 3D。

　　光場(light field)是真3D

　　光場顯示跟 Stereoscopic 3D 比的一個很大不同就是它有本事能讓人眼聚焦到不同的距離，從而和會聚的距離保持一致。這是最符合人眼觀察自然世界規(guī)律的做法，因此被稱為 true-3D。

　　可以想象要實現(xiàn)這樣的光場顯示，并不是那么簡單?，F(xiàn)在主要是兩種方法：空間復(fù)用(space multiplexing)和時間復(fù)用(time multiplexing)。“空間復(fù)用”簡單說就是把一個像素當(dāng)幾塊用來實現(xiàn)不同的聚焦距離。Nvidia 在 SIGGRAPH 上展示的那個原型就屬于這種。這個方法最大的問題就是分辨率大打折扣。我曾經(jīng)試戴過，基本就是霧里看花。

　　“時間復(fù)用”呢，就是用高速原件來快速產(chǎn)生不同的聚焦距離，讓人眼以為它們是同時產(chǎn)生的。這樣的好處就是分辨率不損失。大家知道人眼的速度感知是有限的，很多顯示器都是 60Hz 的，因為人眼能分辨的極限值一般就是 60Hz(在某些高速內(nèi)容比如游戲里可能達(dá)到 90-120Hz)。這意味著什么呢，如果利用高速顯示 360Hz，就可以實現(xiàn) 6 個不同的聚焦距離。而有研究表明用6 個聚焦距離加上一種線性混合(linear blending)的渲染算法就基本能實現(xiàn)從約 30 厘米到無窮遠(yuǎn)讓人眼自然對焦。

　　Magic Leap 的技術(shù)是哪種呢?它最近 demo 用的哪種技術(shù)沒有公開，但很有可能還是基于 Brian 的高速激光光纖掃描(scanning fiber)技術(shù)，也是一種時間復(fù)用的辦法。Brian 當(dāng)年先試過只用一根光纖掃描不同聚焦距離，這樣做明顯對速度要求太高，后來用一個光纖束(fiber bundle/array)，比如 16 根，每個光纖有一點位置差，然后同時掃描得到不同聚焦距離。

　　這樣的光場受現(xiàn)實系統(tǒng)的局限肯定不可能是連續(xù)的，都是被采樣的(downsampled)。但是，即使是這樣的光場投射到眼睛里也在理論上是跟真實世界物體光線進(jìn)入眼睛是一個道理，因此可以實現(xiàn) true-3D?；氐阶畛醯膯栴}，這也是為什么 Magic Leap 的技術(shù)重要的原因?，F(xiàn)在你也理解了為什么 Rony 說“ HoloLens 會讓人惡心”了吧?

　　透明 AR 眼鏡面臨哪些挑戰(zhàn)

　　1、顯示

　　首先能實現(xiàn)近眼光場顯示就很難，現(xiàn)在的公司除了 Magic Leap 還都是用古老的 Stereoscopic 3D 的方法，用戶戴長了就會眼困頭暈惡心。而 Magic Leap 所用的近眼顯示技術(shù)理論上成立，現(xiàn)實中也還有很多問題要解決。比如：

　　系統(tǒng)大?。?Magic Leap 現(xiàn)在還沒有公開過它的原型照片，據(jù)報道都還是像一個冰箱一樣大的，離可穿戴還有很長的路要走。

　　光場采樣：既然是采樣就一定有損失，比如對比度清晰度上，如何才能最優(yōu)采樣?

　　聚焦和會聚(Accommodation-vergence matching)：即便聚焦距離對了，也要保證會聚距離始終與其保持一致。Magic Leap 現(xiàn)在的 demo 視頻還只是從單眼攝制的，還沒有證據(jù)表明他們很好地解決了雙眼問題。

　　室外顯示：現(xiàn)在大家的 demo 都是室內(nèi)的。當(dāng)用戶在室外時，太陽光強度比顯示光高幾個數(shù)量級。至少鏡片需要有自動調(diào)光的技術(shù)。

　　捕捉內(nèi)容：雖然現(xiàn)在可以用計算機圖形來做demo，但以后的應(yīng)用一定會需要相機采集的內(nèi)容，而光場的拍攝本身還有很多問題要解決。

　　散熱：是一個容易被忽視的問題。當(dāng)年 Google Glass 出來的時候有人說用著用著臉就像要燒起來了。現(xiàn)在還沒有證據(jù)表明HoloLens 和 Magic Leap 的眼鏡能長時間保持涼爽。

　　2、鏡片

　　近眼顯示有兩個關(guān)鍵部件：顯示器和鏡片?，F(xiàn)在大部分的 AR 眼鏡鏡片都是基于分光鏡(beamsplitter prism)的，比如 Google Glass，HoloLens，Epson Moverio。如圖左，簡單的分光鏡就是 45 度角，把顯示器產(chǎn)生的光從眼鏡框反射進(jìn)人眼，也同時讓現(xiàn)實世界的光透進(jìn)來。這樣做簡單便宜，但是鏡片厚。

　　一個以色列公司 Lumus 做出了一個光導(dǎo)(waveguide)技術(shù)讓鏡片變得很薄，可惜工藝復(fù)雜成本太高。后來也有一些便宜的光導(dǎo)產(chǎn)品出現(xiàn)，但質(zhì)量還遠(yuǎn)不如 Lumus。所以，鏡片也還有很長的路要走，不僅要做到視角(Field-of-View)大，還要輕薄，透光性好，在折射/反射顯示光的時候也要盡量保持光的屬性并做到盡量小的光損失。

　　3、視角(FoV)和分辨率(Resolution)

　　視角直接決定了用戶體驗?，F(xiàn)在的很多 AR 眼鏡視角還在 20°-40°之間，不少試戴了 HoloLens 的記者都對它的視角表示失望。而人眼的橫向視角雙眼差不多有 200°，縱向有 130°。視角大意味著總的分辨率也要很大才能覆蓋，8K*8K 才會比較理想。

　　4、遮擋(Occlusion)

　　前面說到過單眼的景深感知有一個很重要的信號就是物體之間的遮擋。在用透明 AR 眼鏡時，一個關(guān)鍵問題就是虛擬物體和現(xiàn)實物體之間的遮擋怎么實現(xiàn)。

　　如果是現(xiàn)實物體在前面，虛擬物體在后面，還相對比較好辦，就是要自動探測現(xiàn)實物體的距離，再計算出虛擬物體哪些部位需要遮擋從而不渲染。但是如果反過來，虛擬物體需要遮擋現(xiàn)實物體，就沒那么直接了，因為理論上需要把現(xiàn)實物體的光從眼鏡上選擇性地濾掉。從 Magic Leap 最近的 demo 看，在虛擬物體明亮?xí)r，它本身的亮度會自然遮擋后面的真實物體，但當(dāng)虛擬物體比較暗時，還是有所謂的“鬼影效果”(ghost effect)，不符合自然規(guī)律，又會讓大腦產(chǎn)生混亂。

　　如果想實現(xiàn)完全正確的遮擋效果，只能在鏡片上做實時的像素級的濾光機制(per-pixel shutter)，但現(xiàn)在的技術(shù)都還不成熟。

　　5、渲染黑色

　　透明 AR 眼鏡現(xiàn)在還沒辦法渲染黑色。因為它說到底是虛擬光和自然光的疊加。如果畫黑色，用戶是看不到的，只會看到后面的背景真實物體的光。類似的暗色都有這個問題。

　　6、延遲

　　透明 AR 眼鏡還有一個很大的挑戰(zhàn)就是延遲。把虛擬物體疊加到真實物體上(比如放一個虛擬水杯到一個真實桌子上)涉及到一系列計算：探測真實物體→計算它的空間位置和方向→計算疊加位置→渲染虛擬物體等。

　　這一切都必須在一眨眼內(nèi)發(fā)生，讓用戶感覺不到延遲。比如在那個水杯例子里，我們的頭可能是一直在動的，隨著我們頭動，我們看到的那個水杯應(yīng)該在桌上原來的位置不動才對。而如果系統(tǒng)延遲過大，我們看到的那個水杯的位置可能就總是不對，大腦就又混亂了。

　　這對透明 AR 挑戰(zhàn)尤其大，因為真實世界我們是直接看到的，幾乎沒有任何延遲，而虛擬物體的渲染得能跟上這個速度才顯得自然。在 video overlay 里，就沒有這個問題，因為我們看到的真實世界的視頻已經(jīng)是延遲的了，這樣在上面的物體疊加就比較容易跟它保持同步。

　　7、激光

　　Magic Leap 以前的技術(shù)專利是用激光直接打到人眼里，雖然據(jù)說很安全，但還沒有確切的科學(xué)證據(jù)。所以用戶接受度是個問題，很多人估計一聽到這個就望而卻步了。

　　說了這么多，下一代移動人機交互界面到底什么時候能做成呢?我個人感覺要做成人民群眾喜聞樂見的版本至少要 5 年時間，也許更長。因為以上列出的這些挑戰(zhàn)，每一個都還需要很多努力才能解決。目前它們很多都還不到量變(只是需要優(yōu)化)的階段，而是需要大的質(zhì)的飛躍。所以，路漫漫其修遠(yuǎn)兮。但既然這是計算機發(fā)展的必然方向，拭目以待吧。