佐治亞理工大學(xué)、萊斯大學(xué)、Meta開發(fā)全新眼動(dòng)追蹤系統(tǒng)

在不犧牲追蹤算法準(zhǔn)確性的情況下，以更小的尺寸、更高的效率進(jìn)行眼動(dòng)追蹤

基于攝像頭的眼動(dòng)追蹤是AR/VR系統(tǒng)的重要組成，但目前的系統(tǒng)存在一定的局限性，包括體積尺寸，吞吐量，以及攝像頭和后端系統(tǒng)之間的高通信成本。

在一項(xiàng)研究中，美國(guó)佐治亞理工大學(xué)、萊斯大學(xué)和Meta的團(tuán)隊(duì)開發(fā)了一種全新的眼動(dòng)追蹤系統(tǒng)，他們希望通過結(jié)合無透鏡攝像頭、專有算法和加速處理器設(shè)計(jì)來克服相關(guān)限制。

研究人員表示：“目前的VR頭顯太重，游戲可能存在滯后，而使用控制器會(huì)很麻煩。綜合起來，這會(huì)讓用戶無法獲得真正的沉浸式體驗(yàn)。”

所以，團(tuán)隊(duì)研發(fā)了名為EyeCoD的新系統(tǒng)。通過用編碼的二進(jìn)制掩模代替對(duì)焦透鏡，F(xiàn)latCam可以比基于透鏡的攝像頭薄5倍～10倍。掩模對(duì)入射光進(jìn)行編碼，而不是直接聚焦?？梢詫?duì)FlatCam傳感測(cè)量的編碼信息進(jìn)行計(jì)算解碼，以重建在掩模制造和測(cè)量過程中可能引入偽影和噪電的捕獲圖像。

另外，減小的形狀參數(shù)為將后端眼動(dòng)追蹤處理器連接到更靠近前端攝像頭留出了空間，從而大大減小了攝像頭和處理器之間的距離，并相應(yīng)地降低了眼動(dòng)追蹤的整個(gè)系統(tǒng)延遲的通信成本。

EyeCoD系統(tǒng)的另一個(gè)特點(diǎn)是，它只將用戶眼睛注視的屏幕位置設(shè)置為高分辨率。它通過預(yù)測(cè)用戶的注視點(diǎn)可能落在哪里，然后以高分辨率即時(shí)渲染這些區(qū)域來實(shí)現(xiàn)這一點(diǎn)。這可以計(jì)算節(jié)省，加上專用加速器，鞏固了EyeCoD提高處理速度和效率的能力。

通過結(jié)合FlatCam，團(tuán)隊(duì)提出的系統(tǒng)能夠在不犧牲追蹤算法準(zhǔn)確性的情況下，以更小的尺寸、更高的效率進(jìn)行眼動(dòng)追蹤。系統(tǒng)同時(shí)可以通過不包括基于透鏡的攝像頭來增強(qiáng)用戶隱私。 

值得一提的是，團(tuán)隊(duì)在2023年獲得了斯坦福技術(shù)授權(quán)辦公室的25000美元撥款，以幫助項(xiàng)目實(shí)現(xiàn)商業(yè)化。他們希望利用這筆資金將當(dāng)前的演示集成到一個(gè)緊湊的眼動(dòng)追蹤系統(tǒng)中，并用于商業(yè)VR/AR頭顯。