縱觀AR/VR產(chǎn)業(yè)鏈，解讀處理器及連接技術(shù)

作者/ 王瑩 ?王金旺 《電子產(chǎn)品世界》編輯(100036)

摘要：本文邀請(qǐng)AR/VR行業(yè)關(guān)鍵廠商及領(lǐng)軍人物，就AR/VR產(chǎn)業(yè)的處理器及連接技術(shù)進(jìn)行了深入的解讀和分析。

處理器IP及顯示

多解決方案滿足不同AR/VR應(yīng)用需求

　　對(duì)于VR，用戶體驗(yàn)與分辨率、幀速率、延遲和質(zhì)量等直接相關(guān)。因此，我們看到有提高分辨率和幀率的要求;每只眼睛高達(dá)4K，每秒刷新率為60到120幀。

　　分辨率和幀速率的同時(shí)提高意味著圖形處理單元(GPU)現(xiàn)在要為4K120雙顯示器提供高質(zhì)量的內(nèi)容，性能明顯高于目前通常用于移動(dòng)和電視游戲的1080P60單顯示器。對(duì)于一體式頭戴式顯示器，這一切都必須滿足嚴(yán)格的功率要求才能實(shí)現(xiàn)。所使用的GPU硬件在開(kāi)始設(shè)計(jì)時(shí)就要考慮好移動(dòng)供電的限制。

? ?Imagination Technologies的AR解決方案

　　在AR方面，Imagination Technologies正在生產(chǎn)一些能滿足場(chǎng)景理解視覺(jué)要求的產(chǎn)品。這包括場(chǎng)景照明、場(chǎng)景映射和物體識(shí)別。這些產(chǎn)品符合將現(xiàn)實(shí)虛擬物體放到AR環(huán)境中，使物體更好地融入到場(chǎng)景中這一發(fā)展趨勢(shì)。為了渲染超現(xiàn)實(shí)的虛擬物體，通常需要使用光線追蹤技術(shù)，這也可以充分體現(xiàn)我們硬件光線追蹤解決方案的優(yōu)勢(shì)。

　　為了在AR中實(shí)現(xiàn)場(chǎng)景理解，我們提供了多種解決方案。PowerVR GPU作為圖形處理單元，擁有滿足AR視覺(jué)應(yīng)用需求的并行架構(gòu)。此外，PowerVR還為視覺(jué)處理提供了硬件解決方案，以性能和效能更高的方式處理視覺(jué)數(shù)據(jù)。

　　Imagination Technologies目前已經(jīng)在VR產(chǎn)品中部署了多種PowerVR GPU內(nèi)核。AR和VR有很多價(jià)格點(diǎn)和應(yīng)用，因此，作為SoC公司的IP提供商，Imagination Technologies必須能提供多種解決方案，以便我們的客戶能夠滿足他們專門針對(duì)的細(xì)分市場(chǎng)的精確區(qū)域、功能和性能點(diǎn)要求。為滿足各種不同的需求，我們還提供了多種內(nèi)核。超小型、低功耗Series8XE非常適合入門級(jí)專用VR HMD和360°視頻，而升級(jí)版Series8XEP進(jìn)一步提高了入門級(jí)VR游戲的處理能力。我們還提供高端Series8XT，既適用于中檔VR解決方案，又適用于支持4K120的最高端VR功能。

支持嵌入式視覺(jué)神經(jīng)網(wǎng)絡(luò)的數(shù)字信號(hào)處理器(DSP)

　　所有嵌入式應(yīng)用中，AR/VR和混合現(xiàn)實(shí)面臨著獨(dú)有的挑戰(zhàn)。上述領(lǐng)域的設(shè)備大多屬于智能頭盔、耳機(jī)或智能眼鏡等可穿戴設(shè)備，依靠電池供電，能耗是選擇神經(jīng)網(wǎng)絡(luò)解決方案時(shí)最重要的考量因素之一。AR/VR應(yīng)用的另一個(gè)重要需求是減小延遲，所以神經(jīng)網(wǎng)絡(luò)必須實(shí)現(xiàn)設(shè)備嵌入。所有這些設(shè)備都需要某種圖像識(shí)別、手勢(shì)識(shí)別、立體攝像分割、3D傳感、頭部跟蹤、眼球偵測(cè)和眼球跟蹤能力?，F(xiàn)在的成像技術(shù)多種多樣，但隨著時(shí)間的推移，其中某些功能，如語(yǔ)義環(huán)境理解、手勢(shì)識(shí)別和圖像識(shí)別，都將可以通過(guò)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)。除了成像/視覺(jué)神經(jīng)網(wǎng)絡(luò)，這些設(shè)備還對(duì)聲音/音頻神經(jīng)網(wǎng)絡(luò)提出了要求，以接收語(yǔ)音指令。

　　目前，實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)有兩個(gè)主要選擇：CPU/GPU或使用硬件加速器及匹配的成像DSP。這兩個(gè)選擇都可以各自解決設(shè)計(jì)人員面臨的一些挑戰(zhàn);但又都在開(kāi)發(fā)的簡(jiǎn)易程度、功耗效率、延遲、未來(lái)升級(jí)空間或性能方面有一些令人不滿意的折衷。硬件加速器與匹配的成像DSP是嵌入式設(shè)備的選擇之一，但這一組合效率低下，會(huì)產(chǎn)生不必要的功耗。除了開(kāi)發(fā)困難，軟件還必須在DSP和加速器之間進(jìn)行分區(qū)。僅卸載卷積層會(huì)顯著增加數(shù)據(jù)傳送負(fù)擔(dān)，并影響效率。另外，硬件在流片時(shí)便已固定，所以這些加速器將不具備未來(lái)的升級(jí)空間。

　　符合嵌入式應(yīng)用需要的神經(jīng)網(wǎng)絡(luò)DSP解決方案要滿足以下要求：易于開(kāi)發(fā)、能夠處理龐大的數(shù)據(jù)量、未來(lái)具有升級(jí)空間、有效地使用能源并實(shí)現(xiàn)延遲最小化。

? ?Tensilica Vision C5數(shù)字信號(hào)處理器(DSP)

　　Cadence Tensilica Vision C5 DSP是致力于神經(jīng)網(wǎng)絡(luò)處理并適用于多處理器架構(gòu)的面向視覺(jué)和融合傳感器應(yīng)用優(yōu)化的DSP解決方案。這一解決方案具有存儲(chǔ)器結(jié)構(gòu)共享、允許中斷、同步隊(duì)列和同步多處理器調(diào)試等特性。Vision C5 DSP可以實(shí)現(xiàn)全神經(jīng)網(wǎng)絡(luò)層的計(jì)算加速(卷積層、全連接層、池化層和歸一化層)，而不僅僅是卷積層功能。因此，主視覺(jué)處理DSP的能力得以釋放，獨(dú)立運(yùn)行圖像增強(qiáng)應(yīng)用程序;而Vision C5 DSP則運(yùn)行推理任務(wù)。通過(guò)移除硬件加速器的冗余數(shù)據(jù)傳輸，Vision C5 DSP的功耗遠(yuǎn)低于現(xiàn)有的神經(jīng)網(wǎng)絡(luò)加速器。

　　Vision C5 DSP具備1TMAC/秒的計(jì)算能力，可以滿足神經(jīng)網(wǎng)絡(luò)不斷增長(zhǎng)的計(jì)算要求;計(jì)算精確，擁有多核心設(shè)計(jì)架構(gòu)，支持多TMAC嵌入式解決方案。Vision C5 DSP針對(duì)的是經(jīng)常運(yùn)行多個(gè)神經(jīng)網(wǎng)絡(luò)的應(yīng)用。由于其可編程特性，該解決方案具有未來(lái)升級(jí)空間，并且能夠隨著設(shè)計(jì)的改變而支持新分層。

用ARM Mali GPU驅(qū)動(dòng)實(shí)現(xiàn)移動(dòng)VR

　　ARM認(rèn)為移動(dòng)產(chǎn)品形態(tài)是更容易被客戶接受的產(chǎn)品形態(tài)。VR包括AR(增強(qiáng)現(xiàn)實(shí))都是很好的能夠拉動(dòng)高端手機(jī)市場(chǎng)的應(yīng)用場(chǎng)景，這類應(yīng)用對(duì)性能的要求非常高，而且性能不只是來(lái)自于GPU，也來(lái)自于CPU，包括AR可能還需要攝像頭的參與，所以VR/AR是全系統(tǒng)的運(yùn)算方案。

　　在高端的VR游戲運(yùn)算的情況下，需要很強(qiáng)的GPU、CPU處理能力以及系統(tǒng)設(shè)計(jì)，所以對(duì)整個(gè)硬件的要求是非常高的;而在VR的360°視頻播放的應(yīng)用場(chǎng)景中，除了對(duì)GPU有要求以外，對(duì)視頻編/解碼器也有較高的要求，需要高分辨率，配合VR設(shè)備得到一個(gè)沉浸式的體驗(yàn)。