萊迪思sensAI 4.1工具和IP將低功耗FPGA變?yōu)榫W(wǎng)絡(luò)邊緣智能AI/ML計(jì)算引擎
引言
毫無(wú)疑問(wèn),你已經(jīng)讀過(guò)或聽(tīng)說(shuō)過(guò),由于網(wǎng)絡(luò)邊緣設(shè)備數(shù)量激增,產(chǎn)生了不斷增長(zhǎng)的巨量數(shù)據(jù)流,這些設(shè)備包括自動(dòng)駕駛汽車、物聯(lián)網(wǎng)設(shè)備、消費(fèi)電子產(chǎn)品,甚至是筆記本電腦和個(gè)人電腦。根據(jù)多項(xiàng)估算,截至2025年,運(yùn)行的物聯(lián)網(wǎng)設(shè)備將達(dá)到數(shù)百億個(gè)。這些設(shè)備以連續(xù)數(shù)據(jù)流的形式向云端發(fā)送各種形式的數(shù)據(jù),數(shù)據(jù)速率也千差萬(wàn)別??傮w來(lái)說(shuō),這些設(shè)備將生成大量原始數(shù)據(jù),且數(shù)據(jù)量隨著時(shí)間的推移不斷增加。
安全攝像頭、自動(dòng)駕駛汽車和PC中的視頻錄像機(jī)會(huì)生成高碼率、高分辨率的視頻流。物聯(lián)網(wǎng)設(shè)備則生成中等碼率的數(shù)據(jù),匯聚到大數(shù)據(jù)流中。多種其他類型的物聯(lián)網(wǎng)傳感器(測(cè)量溫度、壓力、位置、光照水平等)會(huì)生成低碼率數(shù)據(jù)流,但很快此類傳感器的數(shù)量將會(huì)達(dá)到數(shù)十億。因此,即使是這些低碼率數(shù)據(jù)流也可以在進(jìn)入云端之前匯聚成更大的、高碼率的數(shù)據(jù)流。
5G無(wú)線網(wǎng)絡(luò)和其他高速網(wǎng)絡(luò)技術(shù)的興起,包括微微基站(Picocell)、長(zhǎng)距離物聯(lián)網(wǎng)網(wǎng)絡(luò)(如LoRaWAN)以及全球聯(lián)網(wǎng)衛(wèi)星網(wǎng)絡(luò)(如SpaceX不斷擴(kuò)展的星鏈寬帶網(wǎng)絡(luò)和Swarm Technologies基于衛(wèi)星的物聯(lián)網(wǎng)網(wǎng)絡(luò)),提供了廣泛而快速的云端訪問(wèn)(注:星鏈于2021年8月收購(gòu)了Swarm Technologies)。這些通信和網(wǎng)絡(luò)技術(shù)加速了新興的網(wǎng)絡(luò)邊緣計(jì)算設(shè)備和應(yīng)用的發(fā)展。
新興的網(wǎng)絡(luò)邊緣設(shè)備和應(yīng)用包括自動(dòng)駕駛汽車、機(jī)器人、自動(dòng)化生產(chǎn)、遠(yuǎn)程監(jiān)控、供應(yīng)鏈和物流系統(tǒng),以及保障公共和私人安全的視頻監(jiān)控。市場(chǎng)對(duì)這些網(wǎng)絡(luò)邊緣系統(tǒng)的需求極速增長(zhǎng),因?yàn)樗鼈兛梢蕴岣咝省⒔档瓦\(yùn)營(yíng)成本并改善用戶體驗(yàn)。但無(wú)論我們建設(shè)多少無(wú)線和有線通信基礎(chǔ)設(shè)施,超量數(shù)據(jù)的駭浪都可能壓垮或者堵塞這些通向云端的數(shù)據(jù)管道。
網(wǎng)絡(luò)邊緣本地化處理有助于疏通數(shù)據(jù)管道
這些趨勢(shì)表明如今需要盡量在網(wǎng)絡(luò)邊緣數(shù)據(jù)產(chǎn)生的地方進(jìn)行更多的處理,減少傳輸?shù)皆贫说臄?shù)據(jù)量。物聯(lián)網(wǎng)和其他網(wǎng)絡(luò)連接設(shè)備的爆發(fā)式增長(zhǎng)是推動(dòng)新的網(wǎng)絡(luò)邊緣設(shè)備開(kāi)發(fā)的主要?jiǎng)恿?,這也進(jìn)一步刺激了新應(yīng)用的開(kāi)發(fā),從而將原始數(shù)據(jù)轉(zhuǎn)換為有用的、可操作的信息,支持快速?zèng)Q策,實(shí)時(shí)應(yīng)對(duì)不斷變化的情形。
在網(wǎng)絡(luò)邊緣計(jì)算發(fā)展的早期階段,公司主要關(guān)注將數(shù)據(jù)遠(yuǎn)距離傳輸?shù)綌?shù)據(jù)中心的成本問(wèn)題。最初,網(wǎng)絡(luò)邊緣應(yīng)用的一大特征是需要訪問(wèn)存儲(chǔ)在云端和連接到云的其他計(jì)算機(jī)中的數(shù)據(jù)。這些早期應(yīng)用通常不是實(shí)時(shí)應(yīng)用;數(shù)百毫秒甚至數(shù)秒的響應(yīng)時(shí)間都是可以接受的。然而,物聯(lián)網(wǎng)設(shè)備的發(fā)展以及對(duì)網(wǎng)絡(luò)邊緣實(shí)時(shí)處理、分析和響應(yīng)的需求不斷增長(zhǎng),推動(dòng)了網(wǎng)絡(luò)邊緣技術(shù)強(qiáng)有力的發(fā)展,同時(shí)也伴隨著更大的設(shè)計(jì)挑戰(zhàn)。
網(wǎng)絡(luò)邊緣處理使得計(jì)算和數(shù)據(jù)存儲(chǔ)越來(lái)越靠近收集數(shù)據(jù)的設(shè)備端,而不是在數(shù)千里之外的數(shù)據(jù)中心進(jìn)行分析和決策。網(wǎng)絡(luò)邊緣的實(shí)時(shí)應(yīng)用通常不容許高延遲,因此處理、分析和決策必須轉(zhuǎn)移到設(shè)備本身。這些網(wǎng)絡(luò)邊緣設(shè)備包括自動(dòng)駕駛汽車、物聯(lián)網(wǎng)傳感器、安全攝像頭、智能手機(jī)、筆記本電腦和個(gè)人電腦等。因此網(wǎng)絡(luò)邊緣計(jì)算的潛力巨大。
數(shù)據(jù)重壓之下,云端無(wú)法包攬一切
智能手機(jī)和物聯(lián)網(wǎng)設(shè)備的指數(shù)級(jí)增長(zhǎng)推動(dòng)了網(wǎng)絡(luò)邊緣計(jì)算的發(fā)展,這些設(shè)備無(wú)處不在,必須連接到互聯(lián)網(wǎng)才能向云端發(fā)送信息或從云端接收信息。一些物聯(lián)網(wǎng)設(shè)備(例如攝像機(jī))在運(yùn)行過(guò)程中會(huì)生成大量數(shù)據(jù)。
其他物聯(lián)網(wǎng)設(shè)備,如溫度傳感器,會(huì)生成少量數(shù)據(jù),但由于這樣的傳感器數(shù)量可達(dá)數(shù)十億,為云端處理帶來(lái)了極大的負(fù)擔(dān)。因此,基于網(wǎng)絡(luò)邊緣的處理十分必要,不僅可以降低云端的網(wǎng)絡(luò)通信成本和云存儲(chǔ)成本,還能避免云端數(shù)據(jù)通道過(guò)載。
網(wǎng)絡(luò)邊緣產(chǎn)品和應(yīng)用的開(kāi)發(fā)人員越來(lái)越多地采用人工智能和機(jī)器學(xué)習(xí)(AI/ML)算法來(lái)匹配和識(shí)別復(fù)雜的模式,以幫助分析數(shù)據(jù)并據(jù)此做出決策。事實(shí)上,AI/ML技術(shù)的使用增長(zhǎng)極其迅猛。
如今AI/ML算法被視為高效處理原始數(shù)據(jù)的必要手段,因?yàn)樗鼈兛梢宰R(shí)別出傳統(tǒng)的算法程序難以解析和識(shí)別的復(fù)雜、多維度的數(shù)據(jù)模式。一些特定的AI/ML應(yīng)用包括檢測(cè)、識(shí)別、辨認(rèn)和計(jì)數(shù)人員或物體;資產(chǎn)和存貨追蹤、環(huán)境感知、聲音和語(yǔ)音檢測(cè)和識(shí)別、系統(tǒng)健康監(jiān)測(cè)以及系統(tǒng)維護(hù)調(diào)度等。
圖1 網(wǎng)絡(luò)邊緣計(jì)算的趨勢(shì)(圖片來(lái)源:萊迪思)
許多可以利用AI/ML功能的網(wǎng)絡(luò)邊緣應(yīng)用需要在極具嚴(yán)苛的功耗限制下運(yùn)行。這些廣泛分布的設(shè)備通常依靠電池供電。此類應(yīng)用在各種網(wǎng)絡(luò)邊緣環(huán)境中比比皆是,包括工廠、農(nóng)場(chǎng)、辦公樓、零售店、醫(yī)院、倉(cāng)庫(kù)、街道和住宅。隨著它們數(shù)量的增加,這些設(shè)備需要在僅充一次電或者僅依靠收集和存儲(chǔ)能量的情況下運(yùn)行較長(zhǎng)時(shí)間,甚至可能是幾個(gè)月或幾年。
因此,許多設(shè)備需要在大部分時(shí)間里處于睡眠或休眠狀態(tài),在設(shè)備處于非活動(dòng)狀態(tài)時(shí)大部分電路應(yīng)處于低功耗待機(jī)模式。然后激活事件會(huì)在需要時(shí)啟動(dòng)設(shè)備。在此類應(yīng)用中,以超低功耗運(yùn)行的基礎(chǔ)電路系統(tǒng)必須保持待命,等待激活事件,然后根據(jù)需要為設(shè)備的其余部分供電。
FPGA以低功耗實(shí)現(xiàn)AL/ML
對(duì)低運(yùn)行功耗和AI/ML算法實(shí)現(xiàn)的需求似乎與低功耗網(wǎng)絡(luò)邊緣設(shè)備設(shè)計(jì)的要求相互沖突。然而,這兩種復(fù)雜的設(shè)計(jì)要求其實(shí)并不矛盾。萊迪思最新的FPGA——低功耗、小尺寸、高性能的CertusPro-NX系列器件——專為滿足低功耗網(wǎng)絡(luò)邊緣設(shè)備的諸多設(shè)計(jì)要求而定制。這些FPGA可以支持多個(gè)傳感器、顯示器,支持高分辨率視頻、網(wǎng)絡(luò)連接和網(wǎng)絡(luò)邊緣AI/ML處理。
與此同時(shí),萊迪思最新發(fā)布的sensAI解決方案集合4.1版本提供了即用的AI/ML工具、IP核、硬件平臺(tái)、參考設(shè)計(jì)和演示以及定制化設(shè)計(jì)服務(wù),有助于設(shè)計(jì)團(tuán)隊(duì)開(kāi)發(fā)新的網(wǎng)絡(luò)邊緣設(shè)備,并將其快速推向市場(chǎng)。最新版本的sensAI支持CertusPro-NX FPGA。
萊迪思sensAI解決方案集合可加速端到端的AI/ML模型訓(xùn)練、驗(yàn)證和編譯。萊迪思在2021年初發(fā)布的sensAI 4.0中新增了sensAI Studio設(shè)計(jì)環(huán)境,這是一種基于圖形用戶界面(GUI)的工具,可幫助開(kāi)發(fā)人員快速構(gòu)建機(jī)器學(xué)習(xí)應(yīng)用。在使用萊迪思sensAI 4.1中的工具設(shè)置網(wǎng)絡(luò)邊緣計(jì)算設(shè)計(jì),并且采用萊迪思iCE40 UltraPlus、CrossLink-NX、ECP5和CertusPro-NX FPGA時(shí),可以在超低功耗下實(shí)現(xiàn)實(shí)時(shí)的AI/ML功能——功耗低至1mW到1W。
圖2 萊迪思sensAI Studio設(shè)計(jì)環(huán)境加速端到端的AI/ML模型訓(xùn)練、驗(yàn)證和編譯(圖片來(lái)源:萊迪思)
隨著sensAI 4.1支持萊迪思CertusPro-NX FPGA系列產(chǎn)品,sensAI的性能也有了較大提升,除了已有的對(duì)象檢測(cè)和追蹤應(yīng)用之外,還新增了對(duì)多個(gè)對(duì)象實(shí)時(shí)分類等應(yīng)用。sensAI 4.1解決方案集合包括更新的神經(jīng)網(wǎng)絡(luò)編譯器,還兼容其他廣泛使用的機(jī)器學(xué)習(xí)平臺(tái),包括最新版本的Caffe、Keras、TensorFlow和TensorFlow Lite。
萊迪思sensAI 4.1解決方案集合中的IP核包括三種類型的卷積神經(jīng)網(wǎng)絡(luò)(CNN)加速器——CNN、CNN Plus和CNN Compact——以及一個(gè)CNN協(xié)處理器引擎。CNN IP核能讓開(kāi)發(fā)人員使用其他人發(fā)布的廣泛使用的各類CNN,例如Mobilenet v1/v2、Resent、SSD和VGG,或者根據(jù)需要自定義CNN模型。sensAI 4.1 CNN加速器利用萊迪思FPGA的并行處理能力、分布式存儲(chǔ)器和DSP資源,極大簡(jiǎn)化了超低功耗AI設(shè)計(jì)的實(shí)現(xiàn)。加速器核利用FPGA的可編程邏輯來(lái)實(shí)現(xiàn)低功耗神經(jīng)網(wǎng)絡(luò),包括極其高效的二值神經(jīng)網(wǎng)絡(luò)(BNN),能夠以毫瓦級(jí)超低功耗實(shí)現(xiàn)CNN。
圖3 萊迪思sensAI解決方案集合可開(kāi)發(fā)基于萊迪思FPGA的AI/ML設(shè)備(圖片來(lái)源:萊迪思)
萊迪思sensAI 4.1參考設(shè)計(jì)
萊迪思FPGA提供可編程I/O,經(jīng)配置可支持傳感器接口常用的多種電氣接口標(biāo)準(zhǔn)。公司還提供許多硬核和軟核IP模塊以支持不同的傳感器通信協(xié)議。由于FPGA長(zhǎng)期以來(lái)在傳感器融合方面具有顯著優(yōu)勢(shì),因此萊迪思sensAI 4.1的設(shè)計(jì)旨在簡(jiǎn)化網(wǎng)絡(luò)邊緣設(shè)備中基于多個(gè)傳感器的AI/ML推理功能的開(kāi)發(fā),實(shí)現(xiàn)智能的傳感器融合。sensAI 4.1解決方案集合包括許多參考設(shè)計(jì)示例,演示了多種智能傳感器融合的應(yīng)用案例,它們可以同時(shí)運(yùn)行,實(shí)現(xiàn)深入的情景感知。這些參考設(shè)計(jì)包括:
● 手勢(shì)檢測(cè)
該參考設(shè)計(jì)使用IR圖像傳感器,實(shí)現(xiàn)了一個(gè)基于AI的低功耗手勢(shì)檢測(cè)系統(tǒng)。該參考設(shè)計(jì)提供了一個(gè)訓(xùn)練數(shù)據(jù)集、可使用常用神經(jīng)網(wǎng)絡(luò)訓(xùn)練工具訓(xùn)練的腳本以及一個(gè)神經(jīng)網(wǎng)絡(luò)模型,方便用戶進(jìn)行修改。
● 關(guān)鍵詞檢測(cè)
該參考設(shè)計(jì)使用數(shù)字MEMS麥克風(fēng)持續(xù)檢測(cè)關(guān)鍵詞話語(yǔ)。設(shè)計(jì)人員可以使用深度學(xué)習(xí)框架(例如Caffe、Tensorflow或Keras)更新提供的訓(xùn)練數(shù)據(jù)集,為系統(tǒng)添加喚醒詞功能。參考設(shè)計(jì)包括一個(gè)訓(xùn)練數(shù)據(jù)集、可使用常用神經(jīng)網(wǎng)絡(luò)訓(xùn)練工具訓(xùn)練的腳本以及一個(gè)神經(jīng)網(wǎng)絡(luò)模型,方便用戶進(jìn)行修改。
● 人臉檢測(cè)
該參考設(shè)計(jì)使用圖像傳感器實(shí)現(xiàn)基于CNN的人臉識(shí)別,并且可以通過(guò)修改訓(xùn)練數(shù)據(jù)庫(kù)來(lái)識(shí)別其他類型的目標(biāo)。
● 人員偵測(cè)
該參考設(shè)計(jì)使用CMOS圖像傳感器持續(xù)檢測(cè)人員的存在?;诖嗽O(shè)計(jì)的AI系統(tǒng)可以使用深度學(xué)習(xí)框架(例如Caffe或Tensorflow)更新所提供的訓(xùn)練模型來(lái)檢測(cè)和定位任何感興趣的目標(biāo)。該參考設(shè)計(jì)包括一個(gè)神經(jīng)網(wǎng)絡(luò)模型、一個(gè)訓(xùn)練數(shù)據(jù)集和可使用常用訓(xùn)練工具訓(xùn)練的腳本。
● 目標(biāo)檢測(cè)、分類、追蹤和計(jì)數(shù)
該參考設(shè)計(jì)提供了目標(biāo)檢測(cè)、分類、追蹤和計(jì)數(shù)的示例,擁有完整的設(shè)計(jì),包括用于萊迪思開(kāi)發(fā)板的FPGA RTL、神經(jīng)網(wǎng)絡(luò)模型、示例訓(xùn)練數(shù)據(jù)集以及用于重新創(chuàng)建和更新設(shè)計(jì)的腳本。
可以使用AI的常見(jiàn)和潛在的網(wǎng)絡(luò)邊緣應(yīng)用
使用AI/ML算法提高眾多網(wǎng)絡(luò)邊緣設(shè)備(例如自主機(jī)器人、環(huán)境控制和視頻安全攝像頭)的性能具有明顯優(yōu)勢(shì),而其他類型的網(wǎng)絡(luò)邊緣設(shè)備也可以從中受益,例如PC和筆記本電腦。萊迪思正與合作伙伴和客戶合作,利用多模式、智能傳感器融合和AI/ML技術(shù),不斷提升PC/筆記本電腦用戶的體驗(yàn),并顯著降低筆記本電腦的運(yùn)行功耗,在某些應(yīng)用中,電池使用時(shí)間最多提高了28%。
哪些設(shè)備特性能發(fā)揮出潛在的價(jià)值呢?
PC和筆記本電腦在24小時(shí)內(nèi)的使用情況差異很大,一般在白天工作時(shí)間集中使用。然而,即使是在工作時(shí)間,它們也會(huì)有休息狀態(tài)。人們會(huì)偶爾休息,中午也會(huì)用餐,這些時(shí)間他們通常會(huì)讓計(jì)算機(jī)保持運(yùn)行狀態(tài),確保他們打開(kāi)的各種應(yīng)用不被關(guān)閉。
將AI/ML分析和決策與計(jì)算機(jī)現(xiàn)有的傳感器(攝像頭和麥克風(fēng))相結(jié)合,實(shí)現(xiàn)智能傳感器融合,能讓PC或筆記本電腦感知周圍環(huán)境,從而決定何時(shí)關(guān)閉顯示器和CPU,以及何時(shí)應(yīng)該給它們重新供電。
存在檢測(cè)最簡(jiǎn)單的用途是在周圍無(wú)人時(shí)關(guān)閉計(jì)算機(jī)。當(dāng)用戶長(zhǎng)時(shí)間遠(yuǎn)離屏幕時(shí),注意力追蹤功能可以調(diào)暗計(jì)算機(jī)屏幕并激活低功耗模式。充當(dāng)智能傳感器中心的低功耗、小尺寸FPGA可以接收來(lái)自計(jì)算機(jī)傳感器的輸入,然后根據(jù)情況決定為哪些組件供電。
解決隱私和安全問(wèn)題
同樣,這些功能也可以增強(qiáng)計(jì)算機(jī)的隱私和安全性。計(jì)算機(jī)的內(nèi)置會(huì)議攝像頭可用于監(jiān)控用戶身后的背景,檢測(cè)是否有人從用戶的肩膀后面窺視。如果計(jì)算機(jī)被配置為保護(hù)隱私,當(dāng)授權(quán)用戶背后有人疑似在偷窺計(jì)算機(jī)屏幕時(shí),它可以彈出警告提醒用戶甚至自動(dòng)調(diào)暗屏幕。需要注意的是,使用這些解決方案,所有推理數(shù)據(jù)都保存在FPGA本地。僅將元數(shù)據(jù)傳遞給SoC,這進(jìn)一步增強(qiáng)了隱私并提高了安全性。
優(yōu)化用戶體驗(yàn)
AI/ML功能還可以增強(qiáng)計(jì)算機(jī)用戶的總體體驗(yàn)。例如,基于AI/ML的面部取景功能可以利用內(nèi)置視頻會(huì)議攝像頭的較高分辨率來(lái)裁剪和居中用戶的頭像,為視頻會(huì)議提供較好的畫面。與會(huì)者還可以在會(huì)議期間移動(dòng)的同時(shí),他們的圖像依然保持居中。同樣,手勢(shì)識(shí)別可以為筆記本電腦或PC或任何其他支持視頻的物聯(lián)網(wǎng)設(shè)備添加非接觸式操作功能。
健康方面的益處
許多公司現(xiàn)在明確表示要保障員工的健康,基于AI/ML的感知功能可以通過(guò)彈出提醒和其他措施幫助避免重復(fù)性壓力損傷,并利用計(jì)算機(jī)的視頻傳感器確保員工實(shí)際上采納了給出的休息建議。
AI/ML應(yīng)用還可用于檢測(cè)用戶的姿勢(shì),這可能是造成重復(fù)性壓力損傷的另一個(gè)因素。這些利用傳感器主動(dòng)反饋的特性可以用來(lái)開(kāi)發(fā)健康應(yīng)用,這明顯優(yōu)于目前企業(yè)中所使用的簡(jiǎn)單的定時(shí)提醒,能夠有效應(yīng)對(duì)壓力相關(guān)的工傷。
所有這些通過(guò)AI/ML實(shí)現(xiàn)的功能都可以幫助供應(yīng)商打造出對(duì)企業(yè)買家更具吸引力的PC和筆記本電腦,并且所有這些功能都可以通過(guò)sensAI 4.1解決方案集合和萊迪思低功耗FPGA的特性來(lái)實(shí)現(xiàn)。
這種FPGA的使用方式超越了長(zhǎng)期以來(lái)FPGA開(kāi)發(fā)的標(biāo)志性功能——傳感器連接和融合,并且基于成熟的AI/ML算法,新增了傳感器信號(hào)分析和決策制定功能。AI/ML的加入使得FPGA成為低功耗系統(tǒng)控制器,可管理系統(tǒng)功能、增強(qiáng)用戶體驗(yàn)并通過(guò)降低整體系統(tǒng)運(yùn)行功耗大幅延長(zhǎng)電池壽命。
結(jié)論:數(shù)十億網(wǎng)絡(luò)邊緣設(shè)備的龐大市場(chǎng)有待開(kāi)發(fā)
憑借其多個(gè)低功耗FPGA系列產(chǎn)品和支持這些產(chǎn)品系列的sensAI 4.1解決方案集合,萊迪思致力于為數(shù)十億計(jì)的網(wǎng)絡(luò)邊緣設(shè)備帶來(lái)AI/ML 技術(shù)。因此,網(wǎng)絡(luò)邊緣應(yīng)用是一個(gè)極具潛力的目標(biāo)市場(chǎng)。
根據(jù)多方面的估算,全球廣泛的地域需要數(shù)百億個(gè)網(wǎng)絡(luò)邊緣設(shè)備來(lái)滿足大量網(wǎng)絡(luò)邊緣市場(chǎng)的需求,這對(duì)于FPGA 業(yè)務(wù)來(lái)說(shuō)非常具有吸引力——當(dāng)然這種規(guī)模對(duì)于任何行業(yè)來(lái)說(shuō)都是如此。萊迪思發(fā)布sensAI 4.1解決方案集合及其低功耗、小尺寸FPGA系列,則是直接瞄準(zhǔn)了網(wǎng)絡(luò)邊緣應(yīng)用和市場(chǎng)。萊迪思的sensAI 4.1解決方案集合是一種網(wǎng)絡(luò)邊緣應(yīng)用的創(chuàng)新開(kāi)發(fā)工具,系統(tǒng)開(kāi)發(fā)人員可以借此為各種市場(chǎng)開(kāi)發(fā)靈活、針對(duì)特定應(yīng)用、基于FPGA的AI/ML推理解決方案。
評(píng)論