蘋(píng)果專利分享了眼動(dòng)追蹤數(shù)據(jù)的過(guò)濾方法

眼動(dòng)追蹤數(shù)據(jù)過(guò)濾

眼動(dòng)追蹤技術(shù)在注視點(diǎn)檢測(cè)、眼睛姿態(tài)估計(jì)、面部分析與識(shí)別等領(lǐng)域都有廣泛的應(yīng)用。然而，用于追蹤眼睛的傳感器經(jīng)常移動(dòng)或抖動(dòng)，所以眼動(dòng)追蹤數(shù)據(jù)并不總是完美校準(zhǔn)，因而可能不穩(wěn)定。

在名為“Eye tracking data filtering”的專利申請(qǐng)中，蘋(píng)果介紹了一種管理眼動(dòng)追蹤數(shù)據(jù)的改進(jìn)技術(shù)。具體來(lái)說(shuō)，發(fā)明描述了一種眼動(dòng)追蹤數(shù)據(jù)過(guò)濾方法。

圖2顯示了管理眼動(dòng)追蹤技術(shù)的瞳孔位置信息的技術(shù)流程圖。從205開(kāi)始，確定用戶的初始瞳孔位置相對(duì)于位于用戶前面的透鏡。例如，所述透鏡可位于確定初始瞳孔位置的用戶眼睛的前方。在210，可以檢測(cè)到瞳孔位置相對(duì)于晶狀體的變化。

在215，更新后的瞳孔位置與和透鏡關(guān)聯(lián)的邊界框進(jìn)行比較。在220，確定更新的瞳孔位置是否在邊界框之外。如果在220處確定更新的瞳孔位置不在邊界框之外，則流程圖繼續(xù)到225，并且更新的瞳孔位置原樣用于眼動(dòng)追蹤功能。

返回到220，如果確定瞳孔位置在邊界框之外，則流程圖轉(zhuǎn)向230。其中，在邊界框內(nèi)確定一個(gè)替代瞳孔位置。

當(dāng)眼睛移動(dòng)時(shí)，利用替代瞳孔位置可能導(dǎo)致數(shù)據(jù)的跳躍。圖3顯示了用于細(xì)化用于眼動(dòng)追蹤的瞳孔位置的技術(shù)流程圖。

從305開(kāi)始，在邊界框內(nèi)確定了替代瞳孔的位置。可基于距離實(shí)際瞳孔位置最近的邊界框內(nèi)的位置來(lái)選擇替代瞳孔位置。

在310，根據(jù)實(shí)際瞳孔位置和替代瞳孔位置對(duì)瞳孔位置應(yīng)用緩和功能。在315，不是簡(jiǎn)單地將實(shí)際瞳孔位置替代為替代瞳孔位置，而是可以根據(jù)緩和功能確定一組中間瞳孔位置。根據(jù)一個(gè)或多個(gè)實(shí)施例，緩和函數(shù)可以是線性函數(shù)、三次緩和函數(shù)等。因此，中間瞳孔位置組可以將使用者的瞳孔位置緩和到替代瞳孔位置。

在320，中間瞳孔位置集應(yīng)用于一系列幀。中間瞳孔位置的數(shù)量可以由實(shí)際瞳孔位置和替代瞳孔位置的差異來(lái)驅(qū)動(dòng)。如果實(shí)際瞳孔位置與替代瞳孔位置之間的線性差很小，則可能需要更少的幀，亦即更少的中間值來(lái)達(dá)到替代像素位置。

如果實(shí)際瞳孔位置與替代瞳孔位置之間的線性差較大，則可能需要更多幀，從而需要更多的中間值才能達(dá)到替代瞳孔位置。

流程圖300在325結(jié)束。其中，在下一幀中使用替代瞳孔位置。換句話說(shuō)，在一系列幀上利用中間瞳孔位置集后，根據(jù)替代瞳孔位置而不是實(shí)際瞳孔位置進(jìn)行渲染。在一個(gè)實(shí)施例中，隨后可使用替代瞳孔位置來(lái)呈現(xiàn)內(nèi)容以呈現(xiàn)給用戶，直到檢測(cè)到新的瞳孔位置。這時(shí)候，再次開(kāi)始圖2中所述的過(guò)程。

在一個(gè)實(shí)施例中，基于用戶注視可能發(fā)生其他問(wèn)題。例如，顯示器可以具有與包含有效像素信息的區(qū)域相關(guān)聯(lián)的區(qū)域。因此，可以細(xì)化注視方向以確保用戶注視有效可見(jiàn)區(qū)域內(nèi)的像素。

圖4A給出了屏幕425的簡(jiǎn)化框圖。屏幕425可以是位于用戶前面的任何類(lèi)型的顯示器，例如頭戴式顯示設(shè)備。

圖4B描繪了從眼睛看屏幕的示例視圖。如圖所示，用戶的注視460引導(dǎo)到可見(jiàn)性區(qū)域435之外，但在屏幕440內(nèi)。為了提供有效的數(shù)據(jù)，可以在可見(jiàn)區(qū)域內(nèi)選擇一個(gè)替代注視位置。例如，可基于可見(jiàn)性區(qū)域435內(nèi)最接近的像素來(lái)選擇替代像素。

在一個(gè)實(shí)施例中，可通過(guò)識(shí)別視場(chǎng)450的中心來(lái)選擇替代像素。視場(chǎng)450的中心可以基于眼睛相對(duì)于屏幕的位置?；蛘?，視場(chǎng)450的中心可以基于用戶眼睛的中心相對(duì)于屏幕的位置。

在一個(gè)實(shí)施例中，可以選擇用于注視目標(biāo)460的替代像素455，使得所述替代像素455位于可見(jiàn)區(qū)域內(nèi)。所述替代像素可以沿著源自所述視場(chǎng)450的中心并指向所述注視460的目標(biāo)位置的矢量470確定。根據(jù)一個(gè)或多個(gè)實(shí)施例，所述替代像素455然后可用于眼動(dòng)追蹤技術(shù)。

圖5A顯示了用于管理眼動(dòng)追蹤技術(shù)的注視信息的技術(shù)流程圖。具體而言，圖5A描述了一種重新計(jì)算用戶注視方向以利用有效像素?cái)?shù)據(jù)的技術(shù)。

流程圖500從505開(kāi)始，一個(gè)像素位置檢測(cè)為與注視方向相關(guān)聯(lián)。例如，像素位置可以與用戶注視的目標(biāo)位置相關(guān)聯(lián)。像素位置可以相對(duì)于位于用戶眼睛前面的屏幕來(lái)確定。

在510，確定所檢測(cè)的像素位置是否在可見(jiàn)區(qū)域之外。如上所述，就圖4B而言，可見(jiàn)區(qū)域435可以是包括有效像素?cái)?shù)據(jù)的屏幕425的子集。

如果確定像素位置不在510的可見(jiàn)區(qū)域之外，則流程圖500繼續(xù)到515。其中，根據(jù)檢測(cè)到的像素位置確定注視角值。注視角度可以根據(jù)所確定的像素位置描述用戶眼睛與屏幕之間的角度。所述流程圖在520結(jié)束，其中所確定的注視角度和像素位置用于處理下一幀。

返回到流程圖500的510，如果確定檢測(cè)到的像素位置在可見(jiàn)區(qū)域之外，則流程圖500在525繼續(xù)。在525，在可見(jiàn)區(qū)域內(nèi)確定替代像素位置。在一個(gè)或多個(gè)實(shí)施例中，可以選擇替代像素，例如，作為可見(jiàn)區(qū)域內(nèi)距離檢測(cè)到的像素最近的像素。

流程圖500在530繼續(xù)，其中根據(jù)所述替代像素的位置確定注視角度。注視角度可以根據(jù)所確定的替代像素位置描述用戶眼睛與屏幕之間的角度。所述流程圖在535結(jié)束，其中所述確定的注視角度和所述替代像素位置用于處理下一幀。

在一個(gè)實(shí)施例中，眼動(dòng)追蹤數(shù)據(jù)可用于由客戶端和合成器在兩階段過(guò)程中呈現(xiàn)幀?？梢酝ㄟ^(guò)在兩者之間共享至少一定的眼動(dòng)追蹤參數(shù)來(lái)改善客戶端和合成器之間的一致性。

圖5B描述了用于在客戶端和合成器之間共享眼動(dòng)追蹤數(shù)據(jù)的技術(shù)。從555開(kāi)始，客戶端在其中處理幀并獲得眼動(dòng)追蹤參數(shù)。

在560，在可選步驟中，客戶端基于歷史合成器眼動(dòng)追蹤參數(shù)處理所述幀。換句話說(shuō)，合成器將來(lái)自最近呈現(xiàn)的幀的與當(dāng)前注視角度和/或可見(jiàn)區(qū)域相關(guān)的數(shù)據(jù)傳遞給客戶端，以便處理未來(lái)的幀。

然后在565，客戶端呈現(xiàn)幀。通過(guò)利用由合成器傳遞給客戶端的可見(jiàn)性區(qū)域，客戶端可以避免渲染可見(jiàn)性區(qū)域之外的像素，從而提高性能。通過(guò)利用合成器傳遞的注視角度，客戶端可以將幀渲染得更適合用戶的注視，從而提高圖像質(zhì)量。

在570，合成器呈現(xiàn)所渲染的幀，并在這個(gè)過(guò)程中獲得合成器眼動(dòng)追蹤參數(shù)。特別地，合成器可以執(zhí)行關(guān)于上面圖5A所描述的步驟。例如，所述合成器可獲得注視角值和基于所述可見(jiàn)區(qū)域的像素位置或替代像素位置。合成器使用各種眼動(dòng)追蹤參數(shù)來(lái)生成與注視角度和可見(jiàn)區(qū)域相一致的幀。

合成器可以選擇性地基于來(lái)自由合成器呈現(xiàn)的客戶端呈現(xiàn)幀的歷史客戶端數(shù)據(jù)處理當(dāng)前幀。這樣在575，合成器基于歷史合成器眼動(dòng)追蹤參數(shù)選擇性地處理當(dāng)前幀。換句話說(shuō)，眼動(dòng)追蹤數(shù)據(jù)可以從一幀利用到另一幀。這樣做可以減少處理連續(xù)幀的延遲。

任選地，如580所示，合成器基于歷史客戶端眼動(dòng)追蹤參數(shù)處理當(dāng)前幀。即客戶端可以將呈現(xiàn)前一幀期間使用的數(shù)據(jù)傳遞給合成器以處理其他幀。例如，在渲染期間使用的注視角度可以與渲染的幀一起傳輸?shù)娇蛻舳藛幔瑥亩行У卮_定和/或改進(jìn)延遲。

在585。如果有額外的幀要處理，則流程圖返回到555并且客戶端處理額外的幀，可選地基于從合成器傳遞的眼動(dòng)追蹤參數(shù)，直到?jīng)]有額外的幀被處理。

圖6描述了選擇更新的像素位置的流程圖。從605開(kāi)始，在可見(jiàn)區(qū)域內(nèi)識(shí)別與視場(chǎng)中心相關(guān)聯(lián)的像素。視場(chǎng)的中心可以是位于眼睛前方的屏幕的像素，并且可以基于源自眼睛中心并以垂直方式延伸到屏幕表面的矢量來(lái)確定。相應(yīng)地，視場(chǎng)的中心可定位于或偏移于屏幕的中心或與屏幕和眼睛之間的透鏡的中心相關(guān)聯(lián)的像素。

在610，從與視場(chǎng)中心相關(guān)聯(lián)的像素和與注視方向相關(guān)聯(lián)的像素確定矢量。與注視方向相關(guān)聯(lián)的像素可以如上所述相對(duì)于流程圖500的505確定。所述流程圖600在615結(jié)束，其中所述替代像素是從沿所述確定的矢量并在可見(jiàn)區(qū)域內(nèi)的一組像素中選擇。

在一個(gè)實(shí)施例中，系統(tǒng)設(shè)置可配置為追蹤兩只眼睛。如果一只眼睛沒(méi)有有效數(shù)據(jù)，系統(tǒng)可以配置為使用另一只眼睛使用無(wú)效數(shù)據(jù)預(yù)測(cè)眼睛的注視。

例如，可以獲得每只眼睛的注視數(shù)據(jù)。如果確定其中一組注視數(shù)據(jù)包含無(wú)效數(shù)據(jù)，則可以對(duì)另一組注視數(shù)據(jù)應(yīng)用預(yù)測(cè)模型來(lái)預(yù)測(cè)缺失的注視數(shù)據(jù)。注視數(shù)據(jù)集可以確定為無(wú)效，例如，基于硬件或軟件反饋，基于對(duì)眼睛之間數(shù)據(jù)一致性的審查，基于預(yù)期運(yùn)動(dòng)中的閾值運(yùn)動(dòng)等等。

相關(guān)專利：Apple Patent | Eye tracking data filtering

https://patent.nweon.com/30685

名為“Eye tracking data filtering”的蘋(píng)果專利申請(qǐng)最初在2022年11月提交，并在日前由美國(guó)專利商標(biāo)局公布。

    來(lái)源：映維網(wǎng)