為什么總說VR定位動(dòng)捕技術(shù)難 它究竟難在哪里？

　　最近有文章解析了因?yàn)樽沸莾x和陀螺儀的出錯(cuò)，加上科學(xué)家寫反噴氣代碼導(dǎo)致了造成了價(jià)值19億的一臺(tái)名為“瞳”的X射線太空望遠(yuǎn)鏡被玩壞了。實(shí)際上，追星儀和陀螺儀實(shí)現(xiàn)的類似于VR中的光學(xué)定位及姿態(tài)捕捉。一直以來，大家都在說VR定位動(dòng)捕技術(shù)難，那到底難在哪里呢？作者系VR行業(yè)從業(yè)者，本文將會(huì)探討下這個(gè)問題。

　　我相信，“瞳”真實(shí)的毀滅原因一定比文章中描述的要復(fù)雜很多，我寫這篇文章也不是為了跟大家探討“瞳”，而是想跟大家聊一下由此事件引發(fā)的一些思考。

　　“瞳”和VR中的光學(xué)定位及姿態(tài)捕捉

　　瞳的追星儀，在文章中是這樣描述的“追星儀是衛(wèi)星上一個(gè)判斷自己方位的儀器。..。..總的來說就是一個(gè)小相機(jī)，通過跟蹤拍攝背景里一些亮的星星的位置。.. 用來判斷自己所指向的方位。..。..”。

　　追星儀的定位技術(shù)大概是目標(biāo)物體（即瞳本身）拍攝背景中的星星，根據(jù)得到的圖像及所識(shí)別出的星星的位置來獲取自身的方位信息。而瞳的陀螺儀則用來偵測(cè)瞳自身的空間姿態(tài)。所以，追星儀和陀螺儀實(shí)際上實(shí)現(xiàn)的類似于VR中的光學(xué)定位及姿態(tài)捕捉。

　　（1） 光學(xué)定位技術(shù)

　　VR中的光學(xué)定位技術(shù)是利用攝像機(jī)拍攝目標(biāo)物體，根據(jù)得到的目標(biāo)圖像及攝像機(jī)自身的位置信息推算出目標(biāo)物體的位置及姿態(tài)等信息。根據(jù)標(biāo)記點(diǎn)發(fā)光技術(shù)不同，光學(xué)定位技術(shù)還分為主動(dòng)式和被動(dòng)式兩種。

　　具體實(shí)現(xiàn)流程：定位物體上布滿標(biāo)記點(diǎn)，標(biāo)記點(diǎn)可以自主發(fā)射光信號(hào)或者反射定位系統(tǒng)發(fā)射來的點(diǎn)信號(hào)，使得攝像頭拍攝的圖像中標(biāo)記點(diǎn)與周圍環(huán)境可以明顯區(qū)分。攝像機(jī)捕捉到目標(biāo)物上標(biāo)記點(diǎn)后，將多臺(tái)攝像機(jī)從不同角度采集到的圖像傳輸?shù)接?jì)算機(jī)中，再通過視覺算法過濾掉無用的信息，從而獲得標(biāo)記點(diǎn)的位置。該定位法需要多個(gè) CCD 對(duì)目標(biāo)進(jìn)行跟蹤定位，需要至少兩幅以上的具有相同標(biāo)記點(diǎn)的圖像進(jìn)行亞像素提取、匹配操作計(jì)算出目標(biāo)物的空間位置。實(shí)現(xiàn)流程圖如下：

　　光學(xué)定位技術(shù)實(shí)現(xiàn)流程

　　目前，光學(xué)定位技術(shù)在國際上最受認(rèn)可的是Optitrack。OptiTrack定位方案適用于游戲與動(dòng)畫制作，運(yùn)動(dòng)跟蹤，力學(xué)分析，以及投影映射等多種應(yīng)用方向，在VR行業(yè)有著非常大的影響力。

　?。?）慣性動(dòng)作捕捉

　　陀螺儀的工作原理是通過測(cè)量三維坐標(biāo)系內(nèi)陀螺轉(zhuǎn)子的垂直軸與固定方向之間的夾角，并計(jì)算角速度，通過夾角和角速度來判別物體在三維空間的運(yùn)動(dòng)狀態(tài)。

　　它的強(qiáng)項(xiàng)在于測(cè)量設(shè)備自身的旋轉(zhuǎn)運(yùn)動(dòng)。陀螺儀用于姿態(tài)捕捉，集成了加速度計(jì)和磁力計(jì)后，共同應(yīng)用在慣性動(dòng)作捕捉系統(tǒng)。

　　慣性動(dòng)作捕捉系統(tǒng)需要在運(yùn)動(dòng)物體的重要節(jié)點(diǎn)佩戴集成加速度計(jì)，陀螺儀和磁力計(jì)等慣性傳感器設(shè)備，傳感器設(shè)備捕捉目標(biāo)物體的運(yùn)動(dòng)數(shù)據(jù)，包括身體部位的姿態(tài)、方位等信息，再將這些數(shù)據(jù)通過數(shù)據(jù)傳輸設(shè)備傳輸?shù)綌?shù)據(jù)處理設(shè)備中，經(jīng)過數(shù)據(jù)修正、處理后，最終建立起三維模型，并使得三維模型隨著運(yùn)動(dòng)物體真正、自然地運(yùn)動(dòng)起來。

　　VR定位動(dòng)捕技術(shù)到底難在哪里？

　　前文提到，“瞳”最終沒有避免毀滅的命運(yùn)，當(dāng)然我們得說這次毀滅有一些人為的可避免的錯(cuò)誤造成，但無法否認(rèn)的事實(shí)是它耗費(fèi)了人類價(jià)值19億的資源。這也從側(cè)面證實(shí)了定位及動(dòng)捕技術(shù)難度之高。

　　當(dāng)然，應(yīng)用于VR行業(yè)中時(shí)，對(duì)于精度等的要求不會(huì)有“瞳”那么高，但為了能給使用者帶來超強(qiáng)沉浸感體驗(yàn)，定位及動(dòng)捕的精度、延遲、刷新率等也一定要達(dá)到非常高的水平。很多人知道2016年被稱為VR的元年，但是又有多少人知道VR自1963年被提出至今耗費(fèi)了多少科學(xué)家、工程師的心血？

　　讀者可能會(huì)有疑問，大家一直在說VR定位動(dòng)捕技術(shù)難，那到底難在哪里呢？接下來筆者就來談?wù)刅R定位動(dòng)捕技術(shù)的難點(diǎn)。

　?。?）人體運(yùn)動(dòng)復(fù)雜性

　　由于在現(xiàn)實(shí)世界里面，“場(chǎng)景”是相對(duì)靜止的，我們之所以看到眼前的東西在動(dòng)，是因?yàn)槲覀冾^部、眼部、身體等在移動(dòng)，使得眼前的“場(chǎng)景”形成了一個(gè)動(dòng)畫。而虛擬現(xiàn)實(shí)就是要模擬出現(xiàn)實(shí)世界的這種“動(dòng)畫”，也就是說在虛擬現(xiàn)實(shí)的設(shè)備中，畫面要根據(jù)人的這些動(dòng)作做出相應(yīng)的調(diào)整才可以，而這些動(dòng)作看似使用定位、陀螺儀等設(shè)備就可以解決，但其實(shí)則不然。人體的動(dòng)作可以看作是復(fù)雜且有一定規(guī)律的一系列動(dòng)作組合而成，為了完成一個(gè)動(dòng)作，每一個(gè)完整的動(dòng)都可以分解為各個(gè)肢體的動(dòng)作，各個(gè)肢體之間的動(dòng)作既相互獨(dú)立又相互限制。人體的各種動(dòng)作是有多個(gè)自由度組成，其復(fù)雜性使得計(jì)算機(jī)追蹤時(shí)存在著很多的困難和挑戰(zhàn)。

　　這里給大家舉個(gè)例子：

　　在一些大家很喜歡的搏斗或者射擊游戲中，我們經(jīng)常需要作出身體快速移動(dòng)，頭部快速轉(zhuǎn)動(dòng)，以及高速的轉(zhuǎn)身、下蹲等動(dòng)作，一方面這些動(dòng)作會(huì)帶來我們實(shí)現(xiàn)的變化，眼前所看到的畫面也會(huì)跟隨變化，且虛實(shí)情況也有區(qū)別；

　　另一方面，這些動(dòng)作也必須會(huì)帶來虛擬世界中的一些反饋，例如瞄準(zhǔn)僵尸打出一顆子彈，則虛擬世界中的僵尸將受傷或者倒下。想要讓使用者有真實(shí)的體驗(yàn)，那么追蹤技術(shù)就必須可以已非常高的精度實(shí)現(xiàn)定位及動(dòng)捕，否則就不能算是真正的虛擬現(xiàn)實(shí)了。

　?。?）精度問題

　　定位及動(dòng)作捕捉精度，對(duì)于VR設(shè)備非常的重要。如果定位及動(dòng)作捕捉精度不夠高，會(huì)嚴(yán)重影響VR體驗(yàn)效果，也失去了虛擬現(xiàn)實(shí)的本質(zhì)。影響精度問題的因素包括遮擋、干擾以及算法自身的限制等。

　　遮擋是各種定位及動(dòng)捕系統(tǒng)最常見的工作失效原因之一。

　　例如光學(xué)定位系統(tǒng)中：當(dāng)掃描光線被用戶或物體遮擋時(shí)，空間點(diǎn)三維重構(gòu)由于缺少必要的二維圖像中的特征點(diǎn)間對(duì)應(yīng)信息，容易導(dǎo)致定位跟蹤失敗。遮擋問題可以通過多視角光學(xué)系統(tǒng)來減輕，但這又造成了該系統(tǒng)又一大缺陷——價(jià)格過于昂貴。以O(shè)ptitrack為例，Optitrack是國際上非常受認(rèn)可的光學(xué)定位技術(shù)，如果有足夠的攝像機(jī)，Optitrack定位及動(dòng)捕技術(shù)可以很好地解決遮擋問題，具有非常高的精度。但是Optitrack攝像機(jī)的價(jià)格卻讓多添加幾個(gè)攝像機(jī)變得不那么容易。

　　干擾包括外界電磁波干擾和自身設(shè)備間相互干擾。不管是光學(xué)定位還是激光定位，對(duì)外界的電磁波干擾都非常敏感，特別是當(dāng)設(shè)備使用無線的方式通信時(shí)，如果存在同波段的電磁干擾，就會(huì)造成卡頓、失靈等現(xiàn)象，嚴(yán)重影響體驗(yàn)效果。

　　還有一個(gè)因素是算法本身的限制，例如慣性式動(dòng)作捕捉技術(shù)。

　　慣性式動(dòng)作捕捉系統(tǒng)采用MEMS三軸陀螺儀、三軸加速度計(jì)和三軸磁力計(jì)組成的慣性測(cè)量單元（IMU， Inertial Measurement Unit）來測(cè)量傳感器的運(yùn)動(dòng)參數(shù)。而由IMU所測(cè)得的傳感器運(yùn)動(dòng)參數(shù)有嚴(yán)重噪聲干擾，MEMS 器件又存在明顯的零偏和漂移， 使得慣性式動(dòng)作捕捉系統(tǒng)無法長(zhǎng)時(shí)間地對(duì)人體姿態(tài)進(jìn)行精確的跟蹤。

　　目前對(duì)于這個(gè)問題，G-Wearables的解決方案或許可以參考，其利用激光定位、反向動(dòng)力學(xué)、慣性式動(dòng)作捕捉相融合的算法來解決，從CES Asia展會(huì)上發(fā)布的STEPVR大盒子的體驗(yàn)來看，融合算法確實(shí)較好地解決了慣性式動(dòng)捕的零偏和漂移問題，實(shí)現(xiàn)了1:1精準(zhǔn)的動(dòng)作還原。當(dāng)然，這款產(chǎn)品的其他方面還需要消費(fèi)者們自行去體驗(yàn)，與本文主題無關(guān)就不再贅述。

　　（3）快速運(yùn)動(dòng)時(shí)的定位及動(dòng)捕問題

　　快速運(yùn)動(dòng)時(shí)的定位及動(dòng)捕一直是VR行業(yè)一大難題，甚至現(xiàn)在很多公司都放棄了快速運(yùn)動(dòng)時(shí)的定位及動(dòng)捕，通過VR內(nèi)容控制用戶不要有快速的動(dòng)作來避免這一問題，但這終究無法從根源上解決問題。

　　那為什么說，快速運(yùn)動(dòng)時(shí)的定位及動(dòng)捕難呢？

　　對(duì)于光學(xué)定位來說，難點(diǎn)在于運(yùn)動(dòng)模糊。

　　如果目標(biāo)物體移動(dòng)過于快速，則會(huì)出現(xiàn)運(yùn)動(dòng)模糊，即由于攝像設(shè)備和目標(biāo)在曝光瞬間存在相對(duì)運(yùn)動(dòng)而形成的一種現(xiàn)象。這種現(xiàn)象很常見，我們平時(shí)用手機(jī)拍攝人物時(shí)，如果人物快速移動(dòng)（例如奔跑、迅速起身等），則我們拍攝的圖片即是模糊的，在VR的光學(xué)定位中是一樣的。

　　光學(xué)定位系統(tǒng)利用多臺(tái)攝像頭拍攝目標(biāo)物體，再利用所獲得的圖像信息及攝像頭的位置信息來最終推算目標(biāo)的空間位置，并基于這樣的空間位置通過IK算法或者慣性傳感器等來推算目標(biāo)物體的動(dòng)作。那么如果目標(biāo)物體處于快速運(yùn)動(dòng)中，則攝像頭拍攝的圖像就存在模糊，信息不可用，也就無法實(shí)現(xiàn)精準(zhǔn)的定位。因此基于光學(xué)定位的VR系統(tǒng)，在目標(biāo)物體快速移動(dòng)時(shí)會(huì)出現(xiàn)卡頓、跳點(diǎn)等現(xiàn)象。

　　對(duì)于激光定位技術(shù)來說，難點(diǎn)在于兩束激光掃描存在時(shí)間間隔。

　　激光定位技術(shù)需要水平、垂直兩個(gè)方向上的激光扇面對(duì)整個(gè)定位空間進(jìn)行掃描，目標(biāo)物體綁定的傳感器必須接收到水平、垂直兩個(gè)方向上的激光后方可進(jìn)行定位，缺一不可。然而，這兩個(gè)方向上的激光扇面是先后掃描，也就是存在時(shí)間差，如果目標(biāo)物體迅速移動(dòng)，則會(huì)出現(xiàn)水平和垂直兩個(gè)方向上激光掃描到傳感器時(shí)傳感器所在的位置不一樣，也就無法定位準(zhǔn)確，進(jìn)而影響動(dòng)作捕捉。

　　（4）大范圍應(yīng)用問題

　　大范圍應(yīng)用問題一直困擾著VR行業(yè)，最重要的就是因?yàn)槎ㄎ患夹g(shù)較難擴(kuò)展。

　　對(duì)于主動(dòng)式、被動(dòng)式這樣的光學(xué)定位技術(shù)，大范圍應(yīng)用最大的攔路虎是成本。

　　光學(xué)定位系統(tǒng)對(duì)攝像頭要求非常高，造價(jià)也就非常昂貴，幾萬甚至上十萬。而要采用多視角光學(xué)系統(tǒng)就需要很多這樣的攝像頭，如果在這樣的成本基礎(chǔ)上再做大范圍應(yīng)用，那么就需要更多的攝像頭，如下圖。這樣就會(huì)導(dǎo)致成本翻幾倍，整個(gè)定位系統(tǒng)的成本高得難以承受。

　　對(duì)于激光定位，大范圍應(yīng)用最大的難題是擴(kuò)展。

　　由于激光的掃射面積有限，因此，定位空間受到激光射程的限制，一般在5*5*2m范圍左右。這就使得激光定位技術(shù)做大范圍的應(yīng)用難度非常高，使用受限。

　　為了解決這一問題就必須采取擴(kuò)展方案，即將多個(gè)這樣的5*5*2m連接在一起形成一個(gè)大范圍的定位應(yīng)用，如下圖：

　　圖中藍(lán)色模塊代表激光發(fā)射基站，每個(gè)子定位區(qū)間有兩個(gè)激光發(fā)射基站，擴(kuò)展方案即是復(fù)制多個(gè)子定位區(qū)間。

　　可是這又涉及到全局定位這一難題，即需要將各個(gè)子空間的坐標(biāo)系下的定位轉(zhuǎn)換成全局坐標(biāo)系下的定位。此外由于光塔過多會(huì)產(chǎn)生相互干擾，因此不可隨意增加定位光塔的數(shù)量來擴(kuò)展定位空間。目前國內(nèi)采用激光定位技術(shù)的公司，G-Wearables算是其中一家，他們宣稱在Step VR產(chǎn)品上對(duì)原有的激光定位技術(shù)做改進(jìn)，其中就包括擴(kuò)展，等該公司提供技術(shù)支持的體驗(yàn)店開業(yè)后，或許可以去驗(yàn)證一下擴(kuò)展效果。

　　除此之外，定位及動(dòng)作捕捉技術(shù)還存在延時(shí)、硬件限制等難題。

　　VR才剛剛起步，想要走得越遠(yuǎn)就必須面對(duì)并解決這些定位及動(dòng)捕技術(shù)中存在的難題。當(dāng)然，作為一位VR從業(yè)者，當(dāng)然不能因?yàn)榧夹g(shù)的艱難就要求使用者的寬容，我們只能努力研發(fā)更好的產(chǎn)品，讓VR設(shè)備有一天可以像智能手機(jī)一樣走進(jìn)每一個(gè)用戶的生活0。