如何用 All Programmable SoC 優(yōu)化AR解決方案

　　研究顯示人類通過視覺與世界互動(dòng)時(shí)，處理圖像的速度比處理書面文本等其他不同形式的信息要快許多倍。增強(qiáng)現(xiàn)實(shí) (AR) 類似于其近親虛擬現(xiàn)實(shí)(VR)，能讓用戶增強(qiáng)對(duì)周邊環(huán)境的洞察。它們之間的主要的區(qū)別是,AR 借助文本或其他可視對(duì)象等虛擬對(duì)象可豐富或增強(qiáng)自然界。這樣能讓 AR 系統(tǒng)的用戶安全、更高效地與他們的環(huán)境互動(dòng)。這與用戶沉浸在人工創(chuàng)建的環(huán)境中的虛擬現(xiàn)實(shí)不同。增強(qiáng)現(xiàn)實(shí)和虛擬的結(jié)合常被描述為為用戶呈現(xiàn)混合現(xiàn)實(shí) (MR)。我們中的許多人在日常生活中已經(jīng)不知不覺地用上了AR，例如我們的移動(dòng)設(shè)備在進(jìn)行道路導(dǎo)航時(shí)，或是玩精靈寶可夢(mèng)GO等虛擬游戲時(shí)。

　　當(dāng)提及 AR 及其應(yīng)用時(shí)，首先想到的事情之一是抬頭顯示器 (HUD)。它們被用于航空和汽車應(yīng)用中，讓用戶無需低頭看儀表盤就能看到相關(guān)的飛行器/汽車信息。抬頭顯示器是較簡(jiǎn)單的可用 AR 應(yīng)用之一。擁有可穿戴技術(shù)等更高級(jí)功能的先進(jìn) AR 應(yīng)用往往被稱為智能增強(qiáng)現(xiàn)實(shí)，據(jù) Tractica 預(yù)測(cè)，其市場(chǎng)規(guī)模到 2020 年將達(dá)到 23 億美元。

　　增強(qiáng)現(xiàn)實(shí)應(yīng)用和用例

　　AR正在進(jìn)軍眾多應(yīng)用領(lǐng)域，覆蓋工業(yè)、軍事、制造、醫(yī)療、社交和商業(yè)等不同行業(yè)，其大量的用例推動(dòng)其被廣泛采用。在商業(yè)領(lǐng)域，AR主要側(cè)重于社交媒體提供應(yīng)用，例如能夠識(shí)別您交談的對(duì)象并添加履歷信息。AR 還能讓消費(fèi)者看到有時(shí)難以參觀到的產(chǎn)品，例如汽車、游艇、建筑物等。

　　許多 AR 應(yīng)用都離不開使用偵探佩戴的智能眼鏡。這些智能眼鏡能提高制造環(huán)境內(nèi)的效率，例如便于替換操作手冊(cè)，向用戶展示如何組裝零部件。在醫(yī)療領(lǐng)域，智能眼鏡便于分享醫(yī)療記錄以及創(chuàng)傷和損傷的詳細(xì)狀況，能為現(xiàn)場(chǎng)急救人員和后續(xù)急診室人員提供治療信息。

　　智能眼鏡在工業(yè)環(huán)境中的使用實(shí)例

　　一個(gè)典型的例子是一家大型包裹物流公司。這家公司目前正在使用 AR 智能眼鏡閱讀發(fā)運(yùn)標(biāo)簽上的條形碼。在條形碼掃描完畢后，智能眼鏡能使用WiFi基礎(chǔ)設(shè)施與公司服務(wù)器通信，判定包裹的最終目的地。在已知目的地后，智能眼鏡能向用戶提示包裹的堆放處，以便繼續(xù)發(fā)運(yùn)。

　　就算不考慮應(yīng)用和用例，設(shè)計(jì)一款 AR 系統(tǒng)也會(huì)面臨多重相互矛盾的要求，包括性能、安全、功耗和未來兼容性。如果設(shè)計(jì)人員要為 AR 系統(tǒng)提供理想的解決方案，這些都必須考慮到。

　　實(shí)現(xiàn) AR 系統(tǒng)

　　這些復(fù)雜的 AR 系統(tǒng)要求能夠連接多個(gè)攝像機(jī)傳感器并處理來自這些傳感器的數(shù)據(jù)，從而讓系統(tǒng)了解周圍環(huán)境。這些攝像頭傳感器還可能會(huì)工作在電磁頻譜的不同頻段上，例如紅外或近紅外。此外，這些傳感器可能提供來自電磁頻譜之外的信息，從而為檢測(cè)移動(dòng)和轉(zhuǎn)動(dòng)提供輸入，例如 MEMS 加速計(jì)和陀螺儀，以及全球?qū)Ш叫l(wèi)星系統(tǒng)(GNSS)提供的位置信息。融合來自多種不同類型傳感器的信息的嵌入式視覺系統(tǒng)一般也稱為異構(gòu)傳感器融合系統(tǒng)。AR 系統(tǒng)也要求高幀率，以及開展實(shí)時(shí)分析、逐幀提取和處理每幀所含信息的能力。提供滿足這些要求的處理能力成為組件選擇的決定性因素。

　　AR 系統(tǒng)剖析

　　All Programmable Zynq? -7000 SoC 或 Zynq? UltraScale+? MPSoC 用于實(shí)現(xiàn) AR 系統(tǒng)的處理內(nèi)核。這些器件本身屬于異構(gòu)處理系統(tǒng)，將 ARM 處理器和高性能可編程邏輯完美結(jié)合在一起。Zynq UltraScale+ MPSoC 屬于新一代Zynq-7000 SoC，額外提供了一個(gè) ARM? Mali-400 GPU。該系列中的某些成員還包含支持 H.265 和 HVEC 標(biāo)準(zhǔn)的硬化視頻編碼器。

　　這些器件能讓設(shè)計(jì)人員使用處理器理想地細(xì)分系統(tǒng)架構(gòu)，實(shí)現(xiàn)實(shí)時(shí)分析功能并傳遞給生態(tài)系統(tǒng)中的傳統(tǒng)處理器任務(wù)。該可編程邏輯可用于實(shí)現(xiàn)傳感器接口和處理，從而帶來多重好處，具體包括：

　　·根據(jù)應(yīng)用要求，并行實(shí)現(xiàn) N 個(gè)圖像處理流水線。

　　·任意連接，能定義和連接任意傳感器、通信協(xié)議或顯示標(biāo)準(zhǔn)，提供靈活性和未來升級(jí)路徑。

　　要實(shí)現(xiàn)圖像處理流水線和傳感器融合算法，我們可充分運(yùn)用 Vivado? HLS 和 SDSoC? 等工具中提供的高層次綜合功能。這些工具擁有包括 OpenCV 支持在內(nèi)的各種專家級(jí)庫。為縮短 AR 系統(tǒng)的上市時(shí)間，還可以利用廣泛的第三方 IP。這些 IP 專為 AR、嵌入式系統(tǒng)和專門的賽靈思技術(shù)開發(fā)。這些 IP 模塊的供應(yīng)商中包括 Xylon。Xylon提供能在 Vivado 設(shè)計(jì)環(huán)境中迅速集成的 LogiBRICKS 系列 IP 核，同時(shí)提供便于系統(tǒng)快速啟動(dòng)和運(yùn)行的拖放功能。另一 IP 模塊供應(yīng)商是 Omnitek，其提供一系列針對(duì) AR 要求的關(guān)鍵環(huán)節(jié)的 IP 模塊，例如實(shí)時(shí)折疊模塊和 3D 處理模塊。

　　設(shè)計(jì)人員還必須考慮 AR 系統(tǒng)的獨(dú)特方面。它們不僅需要與觀察用戶周邊環(huán)境的攝像頭和傳感器連接，還需要執(zhí)行應(yīng)用和用例所需的算法。同時(shí)它們還必須能夠跟蹤用戶的眼睛，判斷它們的視線，從而確定他們所注視的地方。這一般是通過增加觀察用戶面部的攝像頭和實(shí)現(xiàn)眼睛跟蹤算法來做到的。在實(shí)現(xiàn)后，該算法能讓 AR 系統(tǒng)跟蹤用戶視線并確定要發(fā)送到 AR 顯示器上的內(nèi)容，從而高效利用帶寬和滿足處理要求。但是執(zhí)行檢測(cè)和跟蹤本身就是高計(jì)算強(qiáng)度的工作。

　　大多數(shù) AR 系統(tǒng)屬于便攜式無系留系統(tǒng)，而且很多時(shí)候?qū)儆诤椭悄苎坨R一樣的可穿戴系統(tǒng)。這樣如果在供電受限的環(huán)境中實(shí)現(xiàn)這樣的處理功能，就會(huì)面臨特有的難題。Zynq SoC 和 Zynq UltraScale+ MPSoC 系列器件都能提供最出色的單位功耗性能，通過實(shí)現(xiàn)多重選項(xiàng)之一，進(jìn)一步降低運(yùn)行功耗。在極端條件下，這些處理器能夠進(jìn)入可被任意一種源喚醒的待機(jī)模式，從而關(guān)斷占器件一半資源的可編程邏輯。一旦 AR 系統(tǒng)檢測(cè)到自己被閑置，這些選項(xiàng)都能實(shí)現(xiàn)，從而延長(zhǎng)了電池使用壽命。在 AR 系統(tǒng)工作過程中，當(dāng)前未被使用的處理器單元可以通過時(shí)鐘門控來降低功耗。在可編程邏輯單元內(nèi)，通過遵循簡(jiǎn)單的設(shè)計(jì)規(guī)則如高效使用硬宏、精心規(guī)劃控制信號(hào)和在目前不需要的器件區(qū)域考慮使用智能時(shí)鐘門控，也能實(shí)現(xiàn)極高的用電效率。

　　有幾種 AR 應(yīng)用，例如病患醫(yī)療記錄共享或生產(chǎn)數(shù)據(jù)共享，要求在信息保障 (IA) 和威脅防范 (TP) 領(lǐng)域提供高安全等級(jí)，尤其是在 AR 系統(tǒng)具有高度移動(dòng)性、可能被放錯(cuò)地方的情況下。信息保障要求我們能夠信賴存儲(chǔ)在系統(tǒng)里的信息以及系統(tǒng)發(fā)送和接收的信息。這樣對(duì)于綜合人工智能領(lǐng)域而言，我們需要使用 Zynq 的安全引導(dǎo)功能來實(shí)現(xiàn)加密，并使用 AES 解密、HMAC 和 RSA 驗(yàn)證來進(jìn)行驗(yàn)證。只要設(shè)備正確配置和運(yùn)行，開發(fā)人員就能夠使用 ARM Trust Zone 和管理程序?qū)崿F(xiàn)安全的、外人無法訪問的正交環(huán)境。

　　在威脅防范方面，這些器件能使用系統(tǒng)內(nèi)置的 XADC 來監(jiān)測(cè)供電電壓、電流和溫度，以發(fā)現(xiàn)任何試圖篡改 AR 系統(tǒng)的企圖。如果發(fā)生這樣的情況，Zynq 器件可提供多種選擇，包括記錄該企圖、擦除安全數(shù)據(jù)，防止 AR 系統(tǒng)再次連接到支持性基礎(chǔ)設(shè)施。

　　結(jié)論

　　AR 系統(tǒng)在商業(yè)、工業(yè)、軍事等幾大行業(yè)的應(yīng)用正日趨普及。這些設(shè)備也為它們帶來了高性能、系統(tǒng)級(jí)安全性和高能效等一系列自相矛盾的難題。將 Zynq SoC 或 Zynq UltraScale+ MPSoC 用作處理系統(tǒng)的核心，這些難題將迎刃而解。