CEVA-XM4: 計算機視覺更進一步接近人類視覺

　　新的計算機視覺時代降臨，促使增強現(xiàn)實和全息成像等先進技術(shù)從臺式電腦環(huán)境步入移動和嵌入式平臺，同時也使得包括CPU和GPU在內(nèi)的現(xiàn)有硬件面臨性能極限的考驗。

　　隨著開發(fā)人員在智能手機、平板電腦、可穿戴產(chǎn)品、監(jiān)控裝置和聯(lián)網(wǎng)汽車中不斷增加新的多媒體功能， 在當(dāng)下的設(shè)計中，CPU和GPU是處理密集型圖像算法的主要承載平臺。然而，在實現(xiàn)一些諸如雙攝相頭、低光照拍攝和快速自動對焦等創(chuàng)新功能時， OEM廠商和開發(fā)人員也不得不作出一些妥協(xié)。

　　這種趨勢挑戰(zhàn)了，甚至超越了并非設(shè)計用于處理密集型圖像算法的CPU和GPU的極限，其中一個影響就是使得產(chǎn)品的功耗過高，并最終縮短了電池續(xù)航時間。實際上，嵌入式CPU和GPU也都必需具有極低的功耗，并針對其主要任務(wù)高度優(yōu)化。這個設(shè)計難題的最終解決方案，就是一個具有通用性構(gòu)架并專門為無縫處理圖像和智能視覺功能而專門設(shè)計的處理器IP。

　　新相機時代

　　有兩個用例可展示消費電子產(chǎn)品中相機數(shù)目和圖像處理量是如何快速增加的，第一個例子是據(jù)悉至少具有6個攝像頭的微軟HoloLens增強現(xiàn)實頭盔。

　　第二個例子是增加了CMOS傳感器數(shù)量來實現(xiàn)更精巧相機功能的華為榮耀 6+ 智能手機。這款手機在其正面有一個8百萬像素攝像頭，而在其背面則使用兩個8百萬像素攝像頭以實現(xiàn)雙攝功能。

　　圖1: 增加相機數(shù)目構(gòu)成專用視覺處理器的案例

　　視覺處理器剖析

　　來自 CEVA Inc.的全新圖像處理器就是這樣的一種平臺，用于在system-on-chip芯片(SoC)設(shè)計中，為CPU和GPU分擔(dān)處理密集型的圖像增強、計算圖像學(xué)和計算機視覺算法。CEVA-XM4可以實現(xiàn)類似人的視覺感知能力，用于智能手機、平板電腦、汽車安全和信息娛樂、機器人、安防監(jiān)控、增強現(xiàn)實和無人機等廣泛的圖像應(yīng)用。

　　圖2: CEVA-XM4面向多個目標市場

　　CEVA-XM4是CEVA公司的第四代圖像和視覺處理器IP，繼承了CEVA與十多家CEVA-MM3101授權(quán)廠商和合作伙伴共同工作所累積的專業(yè)知識與經(jīng)驗。同時，CEVA-XM4是一個全新設(shè)計的完全可編程處理器，以期滿足最嚴苛的圖像處理和計算機視覺應(yīng)用的需求。CEVA將一個具有定點和浮點處理能力的可編程大位寬矢量處理架構(gòu)、多個對稱標量單元，以及一個專門為視覺處理設(shè)計的低功耗指令集集成進XM4，達到比前代CEVA-MM3101多達8倍的性能提升和2.5倍的功耗改進。

　　視覺處理器vs移動GPU

　　與包括業(yè)界領(lǐng)先的移動GPU在內(nèi)的各種競爭解決方案相比，XM4智能視覺處理器在單位功耗(每mW)性能和單位芯片面積(每mm2 )性能兩個方面都有突出的表現(xiàn)。與市場上一個公認的最為先進的移動GPU比較，在目標物體檢測與跟蹤應(yīng)用中，CEVA-XM4內(nèi)核完成相同任務(wù)的功耗只是競爭解決方案的大約10%，而芯片面積大約只需5%。而且，與移動GPU(如下圖2所示) 比較多鐘特定算法，顯示 XM4和移動GPU之間存在20倍的巨大功耗效率優(yōu)勢。

　　圖3：CEVA-XM4 與移動GPU功耗效率對比——越高越好

　　CEVA-XM4圖像IP廣泛適用于三個視覺領(lǐng)域：圖像采集、圖像處理和視覺感知。圖像采集包括3D視覺、圖像降噪和深度圖生成等功能。圖像處理則與計算圖像學(xué)功能相關(guān)，例如圖像穩(wěn)定、低光照圖像增強、圖像縮放、多幀和多傳感器超分辯率合成。最后，視覺感知能夠執(zhí)行目標物體識別與追蹤、視頻分析、增強現(xiàn)實和用于自然用戶界面(NUI)的人臉、手勢和情緒識別等功能。

　　圖4: CEVA-XM4支持的視覺領(lǐng)域

　　CNN時代的XM4

　　XM4視覺處理器支持的算法包括實時3D深度圖生成、用于3D掃描的點云處理以及目標與圖像識別，范圍包括Haar、LBP和ORB，直至卷積神經(jīng)網(wǎng)絡(luò)(CNN, DNN)等神經(jīng)網(wǎng)絡(luò)技術(shù)的深度學(xué)習(xí)算法。此外，XM4對計算圖像學(xué)算法的支持包括重對焦、背景替換、圖像縮放、圖像穩(wěn)定、HDR、圖像降噪和低光照圖像增強功能。