使用ECP5?FPGA解決網(wǎng)絡(luò)邊緣智能、視覺和互連應(yīng)用設(shè)計挑戰(zhàn)

　　引言

　　隨著傳感器、低成本攝像頭和顯示屏在當今嵌入式設(shè)計中的使用量飛速增長，市場上出現(xiàn)了許多激動人心的全新智能和視覺應(yīng)用。與此同時，嵌入式視覺應(yīng)用的爆炸式發(fā)展也讓設(shè)計工程師對處理資源需求有了一個新的認識。包含豐富數(shù)據(jù)的全新視頻應(yīng)用促使設(shè)計工程師重新考慮到底采用哪種器件，是專用應(yīng)用處理器(AP)、ASIC還是ASSP?然而，在某些情況下，在現(xiàn)有應(yīng)用處理器、ASIC或ASSP方面的大量軟件投入以及全新器件的高啟動成本已然成為上述應(yīng)用更新迭代的阻礙。這一次，擺在眼前的問題推動設(shè)計工程師尋求一種協(xié)處理解決方案，不僅要能夠為包含豐富數(shù)據(jù)的全新應(yīng)用提供所需的額外功能，同時還要滿足系統(tǒng)成本和功耗的嚴苛要求。

　　除此之外，市場上對于面向移動應(yīng)用的低成本MIPI外設(shè)的廣泛采用也催生了從未有過的互連挑戰(zhàn)。設(shè)計工程師既希望利用最新一代MIPI攝像頭和顯示屏的量產(chǎn)成本優(yōu)勢，同時又希望能夠保有在傳統(tǒng)設(shè)備上的投入。那么在這種快速發(fā)展的大環(huán)境中，設(shè)計工程師該如何解決傳感器、嵌入式顯示屏和應(yīng)用處理器之間不斷涌現(xiàn)的接口不匹配問題呢?

　　設(shè)計工程師需要一種高度靈活的解決方案，能夠?qū)崿F(xiàn)高性能、“業(yè)內(nèi)最佳”的協(xié)處理器，滿足視覺和智能應(yīng)用對于邏輯資源和高度并行計算能力的需求，同時增加對各類I/O標準和協(xié)議的互連支持。此外，這樣的解決方案還應(yīng)當具備高度可擴展的架構(gòu)，并支持使用主流高數(shù)據(jù)速率的低成本外部DDR DRAM。最后，該解決方案還需要針對低功耗和低成本運算進行優(yōu)化，并為設(shè)計工程師提供業(yè)界領(lǐng)先的超小尺寸封裝。

　　在本文中，我們將為您介紹ECP5?和LatticeECP3? FPGA如何為嵌入式設(shè)計實現(xiàn)協(xié)處理和互連解決方案，并重點探討這些解決方案在工業(yè)、消費電子、汽車和機器學(xué)習(xí)領(lǐng)域的應(yīng)用實例。

　　為視覺與智能應(yīng)用實現(xiàn)高效的協(xié)處理解決方案

　　萊迪思半導(dǎo)體?推出的ECP5和LatticeECP3 FPGA系列可實現(xiàn)“業(yè)內(nèi)最佳”的協(xié)處理器，并針對互連功能以及高性能和低功耗進行了優(yōu)化。ECP5 FPGA系列提供業(yè)界最小尺寸封裝(10x10 mm)，并具備高達85K查找表(LUT)，功能密度相比競品高出近2倍，同時成本和功耗也大幅降低。ECP5 FPGA支持與ASIC、ASSP和應(yīng)用處理器實現(xiàn)互連，并具備優(yōu)化的I/O和體系架構(gòu)。增強的嵌入式DSP塊和高度并行的FPGA邏輯架構(gòu)為計算密集型協(xié)處理功能提供了所需的高性能支持。ECP5 FPGA系列可提供高達4條SERDES互連通道，支持PCI Express(Gen1，Gen2)、以太網(wǎng)(1GbE，SGMII，XAUI)、CPRI、嵌入式顯示端口( eDP)和JESD204B，每條通道速率為250 Mbps至5 Gbps。同時，器件上的可編程I/O還支持各類接口，包括DDR3、LPDDR3、LVCMOS、RGMII、XGMII、LVTTL、LVDS、Bus-LVDS、7:1 LVDS、LVPECL和MIPI D-PHY。

　　當協(xié)處理或互連應(yīng)用需要超過85K LUT或超過4條SERDES通道時，設(shè)計工程師可以選擇LatticeECP3 FPGA。LatticeECP3 FPGA系列可提供最高150K LUT和6.8 Mbit SRAM，封裝尺寸小至10x10 mm。相比ECP5 FPGA系列，該產(chǎn)品系列最高支持16個3.125 Gbps SERDES通道。此外，該產(chǎn)品系列中的器件均支持800 Mbps DDR3和LVDS，并且能夠提供超過500個可編程系統(tǒng)I/O緩沖器，支持以太網(wǎng)(通過RGMII和XGMII)以及大量額外的I/O接口，而嵌入式SERDES則支持PCIe、以太網(wǎng)(通過SGMII和XAUI)、HDMI、高速串行I/O(Serial Rapid I/O)、CPRI、JESD204A/B等。LatticeECP3 FPGA系列的功耗低至0.5 W。與ECP5 FPGA系列一樣，使用LatticeECP3 FPGA的設(shè)計工程師可以使用高度并行的FPGA邏輯架構(gòu)高效地執(zhí)行計算密集型功能，并通過FPGA分擔視覺和智能功能，如圖像處理和分析任務(wù)以降低處理器工作負載，從而實現(xiàn)更低的功耗和更高的性能。

　　為工業(yè)應(yīng)用實現(xiàn)視覺處理解決方案

　　在工業(yè)領(lǐng)域，基于ECP5 FPGA的協(xié)處理能夠發(fā)揮重要作用，可用于降低視頻攝像頭、監(jiān)控和機器視覺應(yīng)用中應(yīng)用處理器、ASIC或ASSP的計算負載。圖1展示了一款典型的工業(yè)攝像頭應(yīng)用。在下方的圖示中，F(xiàn)PGA位于圖像傳感器和以太網(wǎng)PHY之間。圖像傳感器將圖像數(shù)據(jù)流傳輸?shù)紽PGA，然后FPGA基于H.264編碼進行圖像處理或圖像壓縮。FPGA的片上嵌入式RAM塊(Embedded Block RAM, EBR)和DSP塊實現(xiàn)高性能寬動態(tài)范圍(WDR)和圖像信號處理(ISP)功能。最后，F(xiàn)PGA將圖像數(shù)據(jù)通過以太網(wǎng)進行傳輸。

　　圖1：通過實現(xiàn)圖像處理或壓縮功能，ECP5 FPGA可降低工業(yè)攝像頭應(yīng)用中應(yīng)用處理器的計算負載

　　除了進行圖像處理和壓縮之外，如果應(yīng)用處理器接口的類型或數(shù)量與攝像頭或傳感器的不匹配，F(xiàn)PGA還可用于實現(xiàn)它們之間的視頻橋接。為了滿足工業(yè)應(yīng)用對于靈活互連的需求，萊迪思推出了可編程ECP5 12K器件，能夠連接到包括LVDS、MIPI和LPDDR3在內(nèi)的常用接口。該器件能夠以低成本提供LED控制器、機器視覺系統(tǒng)和工業(yè)電機控制等應(yīng)用中預(yù)處理和后處理功能所需的邏輯、存儲器和DSP資源。

　　除了常見工業(yè)攝像頭應(yīng)用之外，機器視覺(工業(yè)領(lǐng)域里更專業(yè)的攝像頭應(yīng)用)也可受益于ECP5 FPGA提供的互連和協(xié)處理能力。圖2中的框圖展示了FPGA可在常見的工業(yè)機器視覺系統(tǒng)中發(fā)揮的多種作用。在攝像頭應(yīng)用領(lǐng)域，F(xiàn)PGA可用于實現(xiàn)傳感器橋接、完整的攝像頭ISP或定制功能來幫助系統(tǒng)設(shè)計工程師實現(xiàn)差異化的終端產(chǎn)品。對于圖像采集卡而言，像ECP5一樣的FPGA還可以解決視頻接口問題和實現(xiàn)圖像處理功能。

　　機器視覺系統(tǒng)框圖

　　圖2：在常見的工業(yè)機器視覺解決方案中，F(xiàn)PGA可用于實現(xiàn)各種接口橋接和處理功能

　　為智慧城市實現(xiàn)智能交通和監(jiān)控攝像頭應(yīng)用

　　智能交通系統(tǒng)(ITS)包括交通流量監(jiān)控、交通違章識別、智能停車和收費等應(yīng)用，是智慧城市的重要組成部分。上述系統(tǒng)通常需要智能交通攝像頭，用于準確檢測車輛多個方面的信息，例如車牌，即使在惡劣的環(huán)境中也要在網(wǎng)絡(luò)邊緣進行視頻分析，不用將原始視頻流發(fā)送回云端進行處理。單獨的應(yīng)用處理器通常不能同時滿足系統(tǒng)功耗和實時處理的要求。低功耗、小尺寸的ECP5 FPGA系列可用作應(yīng)用處理器的協(xié)處理器，在網(wǎng)絡(luò)邊緣實現(xiàn)系統(tǒng)所需的高效實時處理功能。

　　除了上文中提到的ISP外，ECP5 FPGA還可以實現(xiàn)視頻分析功能，進一步減輕應(yīng)用處理器的計算密集型任務(wù)，從而降低系統(tǒng)功耗、實現(xiàn)更高的實時性能。FPGA可為智能攝像頭應(yīng)用實現(xiàn)目標偵測、圖像處理和圖像增強等解決方案。例如，偵測目標可以是監(jiān)控攝像頭實例中的人臉圖像或是交通攝像頭實例中的車牌。

　　圖3：ECP5 FPGA為智能攝像頭應(yīng)用實現(xiàn)圖像處理和視頻分析功能框圖，分擔應(yīng)用處理器的計算密集型任務(wù)

　　在圖3所示的智能交通攝像頭實例中，F(xiàn)PGA基于傳感器捕獲的圖像數(shù)據(jù)檢測到車輛牌照，即使在低光照或強背光條件下亦能執(zhí)行圖像增強以生成清晰圖像 - 針對目標(車牌)和背景(圖像中的剩余部分)使用不同的曝光設(shè)置，然后融合目標和背景圖像以生成更清晰的圖像。然后，F(xiàn)PGA生成的目標偵測結(jié)果輸入到應(yīng)用處理器運行的分析算法。使用ECP5 FPGA的并行處理器架構(gòu)分擔分析算法中計算密集程度最高的步驟，智能攝像頭能夠在保持低功耗的同時提高性能。

　　為移動系統(tǒng)實現(xiàn)沉浸式增強現(xiàn)實(AR)和虛擬現(xiàn)實(VR)應(yīng)用

　　隨著AR/VR市場需求不斷增長，當前基于頭戴式顯示器(HMD)的系統(tǒng)面臨著移動應(yīng)用處理器運行內(nèi)容時性能不足的問題。因此，要實現(xiàn)身臨其境的AR/VR體驗所需的基于視覺的位置追蹤功能，對于處理器而言是頗具挑戰(zhàn)性的。在這種情況下，ECP5 FPGA的高效并行處理架構(gòu)非常適合用于實現(xiàn)基于立體攝像頭和LED標記的位置跟蹤解決方案。與應(yīng)用處理器相比，F(xiàn)PGA能夠提供低延遲、低功耗的圖像處理支持。FPGA的可編程架構(gòu)和I/O也使得系統(tǒng)設(shè)計工程師能夠根據(jù)產(chǎn)品要求輕松選擇來自不同廠商的圖像傳感器。

　　在“outside-in”的位置追蹤解決方案中，立體攝像頭被放置在房間內(nèi)(在室內(nèi)攝像頭看用戶)，通過捕捉安裝在用戶頭盔和手柄控制器上的LED標記來追蹤用戶的運動(諸如身體運動和手部運動)，如下方圖4所示。安裝在三腳架上攝像頭單元內(nèi)部的FPGA基于立體攝像頭捕獲的數(shù)據(jù)來計算用戶的位置、身體和手部動作，然后將數(shù)據(jù)通過無線方式發(fā)送到用戶頭盔中的移動應(yīng)用處理器，最終通過AR/VR應(yīng)用呈現(xiàn)現(xiàn)實世界與虛擬世界的互動。立體攝像頭為運行在FPGA上的算法提供了深度感知支持，從而實現(xiàn)三坐標定位。

　　圖4：使用立體攝像頭(放置在房間內(nèi))的“outside-in”位置追蹤解決方案，通過捕獲安裝在用戶頭盔和手柄控制器上的LED標記來跟蹤用戶的身體和手部動作

　　在“inside-out”的位置追蹤解決方案中，安裝在用戶頭盔上的立體攝像頭(從用戶所在位置通過“inside-out”的方式朝向室內(nèi)環(huán)境)捕獲安裝在手柄控制器上的LED標記來跟蹤用戶手部動作，如圖5所示。安裝在用戶頭盔攝像頭單元內(nèi)的FPGA基于立體攝像頭數(shù)據(jù)來計算用戶的手部動作，然后將數(shù)據(jù)發(fā)送到頭盔中的移動應(yīng)用處理器，最終通過AR/VR應(yīng)用呈現(xiàn)出來。

　　圖5：使用立體攝像頭(安裝在用戶頭盔上)的“inside-out”位置追蹤，通過捕獲安裝在手柄控制器上的LED標記來跟蹤用戶手部動作

　　雖然“outside-in”和“inside-out”這兩種追蹤解決方案都能實現(xiàn)沉浸式體驗，但“outside-in”系統(tǒng)可以提供更卓越的沉浸感，因為它還可以通過頭盔上的LED標記跟蹤身體運動(如步行、跑步、蹲、跳等) ，將現(xiàn)實世界中的身體運動映射到虛擬世界中。

　　在這兩個系統(tǒng)中，用戶的運動信息需要以極低的延遲立刻呈現(xiàn)在虛擬世界中，實現(xiàn)最為逼真的用戶體驗。ECP5 FPGA的并行處理能力是實現(xiàn)低延遲傳輸?shù)年P(guān)鍵。此外，它的低功耗和小尺寸封裝特性也是實現(xiàn)暢行無阻的移動體驗的關(guān)鍵之所在。

　　為汽車ADAS系統(tǒng)實現(xiàn)協(xié)處理和橋接解決方案

　　汽車市場對視覺處理和互連解決方案的需求正在大幅增長。市場研究公司IC Insights的分析師預(yù)計，隨著在新一代汽車設(shè)計中要求使用后置攝像頭的新規(guī)定施行以及在汽車設(shè)計中引入攝像頭以取代兩側(cè)后視鏡、實現(xiàn)盲點檢測和車道跟蹤功能的發(fā)展趨勢，CMOS圖像傳感器將在2015年至2020年間隨著汽車領(lǐng)域中全新應(yīng)用的興起將以55%的復(fù)合年增長率實現(xiàn)增長。

　　在這個快速成長的市場中，汽車設(shè)計工程師所需的解決方案不僅要能夠?qū)崿F(xiàn)預(yù)處理和后處理功能，還要能夠為高級駕駛輔助系統(tǒng)(ADAS)和信息娛樂應(yīng)用構(gòu)建優(yōu)化的互連解決方案。隨著汽車制造商開發(fā)的ADAS系統(tǒng)日趨復(fù)雜，設(shè)計工程師面臨著兩大挑戰(zhàn)。第一個挑戰(zhàn)是如何解決攝像頭數(shù)量不斷增長帶來的接口問題?大多數(shù)現(xiàn)代處理器僅具備兩個攝像頭接口，而很多ADAS系統(tǒng)需要多達8個攝像頭才能滿足不斷發(fā)展的自動駕駛技術(shù)要求。第二個挑戰(zhàn)是設(shè)計工程師要如何基于來自上述攝像頭的大量數(shù)據(jù)進行圖像處理?

　　為了應(yīng)對這些挑戰(zhàn)，設(shè)計工程師需要一種能夠提供協(xié)處理資源的解決方案，可將來自多個攝像頭的多路視頻流拼接在一起，或?qū)碜远鄠€攝像頭的輸入進行圖像處理(如白平衡、魚眼校正、除霧)，然后將這些數(shù)據(jù)通過單個數(shù)據(jù)流傳輸?shù)綉?yīng)用處理器。汽車設(shè)計工程師還需要能夠靈活地操作儀表板、儀表盤以及后座信息娛樂系統(tǒng)的的多個顯示屏，以及在傳統(tǒng)接口和新的MIPI接口之間實現(xiàn)橋接。

　　萊迪思汽車級ECP5 FPGA(AEC-Q100)可為這些應(yīng)用提供用于加速圖像處理流水線所需的并行處理能力，而大量的I/O則可用于連接到更大的攝像頭陣列。能夠反映這種趨勢的一個實例就是現(xiàn)在越來越多的汽車都具備鳥瞰功能。一般來說，鳥瞰功能是指從汽車上方20英尺處向下看的實時視頻圖像。ADAS系統(tǒng)通過將來自4個或更多攝像頭的數(shù)據(jù)拼接在一起實現(xiàn)寬視野(FoV)來實現(xiàn)上述功能。

　　一直以來，設(shè)計工程師都是使用單個處理器來處理來自單個攝像頭的圖像數(shù)據(jù)?，F(xiàn)在，設(shè)計工程師可以使用單個ECP5 FPGA替代多個處理器，聚合來自多個攝像頭的數(shù)據(jù)，并進行圖像拼接、魚眼去除、白平衡、HDR調(diào)整等操作以盡可能提高圖像質(zhì)量，然后將高質(zhì)量圖像發(fā)送到處理器進行下一個步驟。使用這種方法的設(shè)計工程師可以在獲得更高性能的同時降低成本和功耗。

　　圖6展示了萊迪思客戶如何構(gòu)建上文中提到的解決方案。該鳥瞰系統(tǒng)從安裝在汽車四周的攝像頭(前方、后方和兩側(cè))捕獲視頻圖像。ECP5 FPGA用于對視頻數(shù)據(jù)繼續(xù)進行處理和拼接以提供360度視野。在這種情況下，一片F(xiàn)PGA即可替代多個ARM處理器。該系統(tǒng)最終呈現(xiàn)的是清晰的1080p 60 fps視頻。除ECP5 FPGA之外，該方案僅使用了一個低端ARM處理器用于初始校準和視頻編碼/記錄功能。

　　圖6：展示了開發(fā)工程師如何使用單個ECP5 FPGA實現(xiàn)從前需要使用多個ARM處理器的鳥瞰系統(tǒng)

　　圖7：展示了ECP5 FPGA使用來自4個攝像頭的圖像輸入實現(xiàn)的360度全景視野

　　FPGA可在汽車設(shè)計中扮演的另一個重要角色是構(gòu)建傳統(tǒng)接口與越來越流行的MIPI攝像頭和顯示屏之間的低成本橋接解決方案。

　　圖8：在車載信息娛樂系統(tǒng)中，ECP5 FPGA可用于預(yù)處理和后處理功能，并實現(xiàn)應(yīng)用處理器和顯示屏之間的視頻橋接

　　例如，在圖8的框圖中，ECP5 FPGA位于應(yīng)用處理器或SoC與一個或多個汽車顯示屏之間，用于預(yù)處理和后處理功能，并實現(xiàn)DSI或FPD-Link接口應(yīng)用處理器與Open LDI、LVDS、FPD-Link或eDP接口顯示屏之間的橋接。FPGA還可用于多種其他信息娛樂應(yīng)用，包括分別將單個視頻輸出到雙后座顯示屏，對圖像進行裁剪和格式化以獲得特定的視頻分辨率。

　　ECP5的豐富處理資源也為實現(xiàn)各種傳感器橋接、聚合和協(xié)處理解決方案奠定了基礎(chǔ)。如圖9所示，ECP5 FPGA用于控制和聚合來自多種傳感器數(shù)據(jù)的智能中心。通過對傳感器數(shù)據(jù)進行預(yù)處理和后處理以及實現(xiàn)I2C管理功能和SPI接口，F(xiàn)PGA可以顯著降低應(yīng)用處理器的計算負載。

　　圖9：ECP5 FPGA實現(xiàn)數(shù)據(jù)橋接和智能中心，用于控制和聚合多種類型的傳感器

　　另一個橋接、聚合和協(xié)處理解決方案實例則使用萊迪思汽車級FPGA的3.2 Gbps SERDES功能聚合來自多個雷達或攝像頭的數(shù)據(jù)，并通過BroadR-Reach或以太網(wǎng)等汽車內(nèi)部網(wǎng)絡(luò)傳輸。在圖10中，來自多個傳感器的數(shù)據(jù)通過LVDS接口傳輸?shù)紼CP5 FPGA，然后ECP5 FPGA對數(shù)據(jù)進行聚合和打包，通過基于SERDES的SGMII接口傳輸?shù)狡噧?nèi)部網(wǎng)絡(luò)。

　　圖10：汽車級ECP5 FPGA的LVDS和3.2 Gbps SERDES功能用于實現(xiàn)多個雷達或攝像頭的橋接和聚合，并通過SGMII傳輸?shù)杰囕d網(wǎng)絡(luò)

　　實現(xiàn)網(wǎng)絡(luò)邊緣機器學(xué)習(xí)應(yīng)用

　　展望未來，移動相關(guān)解決方案的影響力將不斷增長，它們將繼續(xù)利用移動處理器和MIPI傳感器和顯示屏的應(yīng)用支持和規(guī)模制造優(yōu)勢為網(wǎng)絡(luò)邊緣實現(xiàn)智能功能。市場上對于部署人工智能(AI)、神經(jīng)網(wǎng)絡(luò)和機器學(xué)習(xí)來實現(xiàn)上述目標的需求在不斷增長。

　　在機器學(xué)習(xí)應(yīng)用領(lǐng)域，用于進行圖像識別的神經(jīng)網(wǎng)絡(luò)經(jīng)過訓(xùn)練之后可以識別貓的圖像，舉個例子，通過向神經(jīng)網(wǎng)絡(luò)投喂數(shù)以千計的圖像并分配輸入圖像的權(quán)重直至神經(jīng)網(wǎng)絡(luò)能夠正確識別貓的圖像。開發(fā)數(shù)據(jù)架構(gòu)和分配權(quán)重可能需要數(shù)TB的數(shù)據(jù)和大量的計算資源。因此，基于深度學(xué)習(xí)技術(shù)的機器學(xué)習(xí)應(yīng)用的訓(xùn)練步驟放在使用高端GPU和FPGA的數(shù)據(jù)中心，只有在數(shù)據(jù)中心海量的計算需求才能得以滿足。

　　模型經(jīng)過訓(xùn)練之后，它將被移植到網(wǎng)絡(luò)邊緣應(yīng)用中的嵌入式系統(tǒng)，然后為圖像識別或語音識別等應(yīng)用實現(xiàn)推理功能。在網(wǎng)絡(luò)邊緣應(yīng)用領(lǐng)域，設(shè)備必須通過計算更快速、更高效地做出決定。因此，設(shè)計工程師需要將神經(jīng)網(wǎng)絡(luò)在“訓(xùn)練”階段學(xué)到的經(jīng)驗教訓(xùn)應(yīng)用到新數(shù)據(jù)，進行“推理”得出結(jié)果。為了在網(wǎng)絡(luò)邊緣應(yīng)用領(lǐng)域?qū)崿F(xiàn)推理功能，理想的解決方案要能夠提供計算效率高的平臺，并且滿足功耗、尺寸和成本的嚴苛要求。

　　當今業(yè)界和學(xué)界的都認為機器學(xué)習(xí)需要高度專業(yè)化的硬件加速解決方案。但是，相關(guān)要求也會根據(jù)任務(wù)的不同而發(fā)生變化。例如，訓(xùn)練和推理可能需要不同的硬件。致力于訓(xùn)練應(yīng)用的硬件設(shè)計工程師通常使用32位浮點運算來進行精度非常高的計算。而另一方面，致力于網(wǎng)絡(luò)邊緣應(yīng)用領(lǐng)域推理功能的硬件設(shè)計工程師對于靈活性的需求要大于精確度，以便獲得更高的處理速度或更低的功耗。事實上，最近的研究表明，對于許多應(yīng)用來說定點與浮點解決方案在推理精度方面幾乎相同，而且前者功耗更低。

　　憑借豐富的嵌入式DSP資源、FPGA與生俱來的并行處理架構(gòu)以及在功耗、尺寸和成本方面的顯著領(lǐng)先優(yōu)勢，ECP5 FPGA是滿足新興AI市場上多元需求的理想選擇。例如，ECP5 FPGA中的DSP能夠以相比GPU浮點運算更低的功耗/MHz來進行定點運算。這些特性為功耗要求嚴苛的網(wǎng)絡(luò)邊緣智能解決方案開發(fā)者提供了極具吸引力的優(yōu)勢。圖11展示了一個實例，其中ECP5 FPGA用于實現(xiàn)推理加速器，對來自攝像頭的數(shù)據(jù)運行預(yù)先訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)(CNN)進行處理。運行在FPGA上的CNN引擎識別物體或人臉，并將結(jié)果發(fā)送到系統(tǒng)CPU，從而實現(xiàn)快速、低功耗的物體/面部識別功能。

　　圖11：ECP5 FPGA為網(wǎng)絡(luò)邊緣智能應(yīng)用實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)(CNN)加速器，從而實現(xiàn)物體/人臉識別功能

　　圖12中的框圖展示了實時人臉跟蹤神經(jīng)網(wǎng)絡(luò)加速演示，在擁有85K LUT的ECP5-85 FPGA上運行時功耗僅為0.85 W。

　　圖12：攝像頭捕獲的實時圖像數(shù)據(jù)被輸入到FPGA，F(xiàn)PGA確定人臉圖像并輸出結(jié)果，最后人臉圖像在顯示屏上高亮顯示

　　基于FPGA實現(xiàn)的設(shè)計使得設(shè)計工程師能夠靈活地實現(xiàn)向上或向下擴展，以滿足終端系統(tǒng)中功耗與性能的平衡。在上面的實例中，基于更小尺寸的85K LUT FPGA的設(shè)計可以通過平衡性能和其他參數(shù)(例如降低幀速率、減小輸入圖像的幀大小或者減少用于神經(jīng)網(wǎng)絡(luò)的權(quán)重和激活值)來實現(xiàn)，從而進一步降低功耗。

　　此外，F(xiàn)PGA的可重新編程特性使得設(shè)計工程師能夠滿足快速變化的市場需求。隨著算法的發(fā)展，用戶可以通過軟件輕松快速地更新硬件。這是GPU或ASIC無法企及的功能。

　　上述演示是基于嵌入式視覺開發(fā)套件(圖13)實現(xiàn)的，該套件是萊迪思嵌入式視覺解決方案系列的一部分，為開發(fā)網(wǎng)絡(luò)邊緣嵌入式視覺解決方案提供了一個模塊化平臺。

　　圖13：采用ECP5 FPGA、CrossLink FPGA和HDMI ASSP的萊迪思嵌入式視覺開發(fā)套件

　　總結(jié)

　　當今的設(shè)計工程師需要不斷尋求新的途徑來降低設(shè)計的成本、功耗和尺寸，同時為網(wǎng)絡(luò)邊緣應(yīng)用領(lǐng)域?qū)崿F(xiàn)更多智能功能。與此同時，他們要跟上網(wǎng)絡(luò)邊緣應(yīng)用領(lǐng)域中新一代傳感器和顯示屏快速發(fā)展帶來的性能和接口要求。萊迪思ECP5 FPGA系列能夠為設(shè)計工程師提供兩全其美的解決方案。ECP5 FPGA提供卓越的處理能力(高達85K LUT)和業(yè)界最小封裝(10x10 mm)，并帶有SERDES，能夠為設(shè)計工程師提供所需的協(xié)處理和互連資源。同時該產(chǎn)品系列的成本和功耗都比競品更低，能夠為開發(fā)工程師帶來領(lǐng)先優(yōu)勢。