機(jī)器學(xué)習(xí)趨向邊緣：性能與成本的平衡帶來(lái)更廣泛的應(yīng)用

作者：Alexandra Dopplinger，恩智浦工業(yè)產(chǎn)品市場(chǎng)營(yíng)銷經(jīng)理、注冊(cè)工程師

一直以來(lái)，科幻小說(shuō)和電影都將機(jī)器刻畫成擁有完全自主能力和智慧的存在，遠(yuǎn)超普通人類。這些內(nèi)容讓人倍感激動(dòng)，并提出了一些具有挑戰(zhàn)性的問(wèn)題，但是我們距離能將這些虛擬構(gòu)建的內(nèi)容變成能夠在真實(shí)世界中存在的機(jī)器還有多遠(yuǎn)呢？

就像每部?jī)?yōu)秀的電影一樣，技術(shù)進(jìn)步的條件也是：具有足夠的利益驅(qū)動(dòng)、基礎(chǔ)足夠牢靠、商業(yè)案例切實(shí)可行并有優(yōu)秀的人才配合實(shí)施計(jì)劃?，F(xiàn)在，所有這些條件都已經(jīng)具備，機(jī)器學(xué)習(xí)的發(fā)展勢(shì)頭也非常迅猛，已經(jīng)廣泛用于各種范圍的應(yīng)用，例如，語(yǔ)音識(shí)別和控制、人臉識(shí)別和身份識(shí)別、智能檢測(cè)和手勢(shì)控制、物體檢測(cè)和識(shí)別、異常檢測(cè)和增強(qiáng)現(xiàn)實(shí)等。

在我們深入探討之前，需要先解釋一些常見(jiàn)的機(jī)器學(xué)習(xí)術(shù)語(yǔ)。

人工智能(AI)是一個(gè)非常寬泛的概念，是指使用機(jī)器完成“智能”的事情并像人一樣能夠決策和行動(dòng)。在這一領(lǐng)域的解決方案一直都非常專業(yè)且門檻很高。

機(jī)器學(xué)習(xí)(ML)是實(shí)施AI的眾多方法之一。這個(gè)概念是如果您向自學(xué)習(xí)機(jī)器發(fā)送大量數(shù)據(jù)，讓它們學(xué)習(xí)如何自行判斷并完成任務(wù)，而不需要針對(duì)每個(gè)行為進(jìn)行明確編程。這樣的事情正在發(fā)生，并且迅速得到廣泛應(yīng)用。

深度學(xué)習(xí)是實(shí)施機(jī)器學(xué)習(xí)的眾多方法之一，通常使用神經(jīng)網(wǎng)絡(luò)(NN)完成學(xué)習(xí)階段，來(lái)自動(dòng)決定最相關(guān)的數(shù)據(jù)部分，加以分析，進(jìn)而推理出最合適的響應(yīng)。NN技術(shù)在訓(xùn)練階段需要海量數(shù)據(jù)，因此，這一方面的研究和發(fā)展還有很大的提升空間。

平衡機(jī)器學(xué)習(xí)的性能與成本

機(jī)器學(xué)習(xí)研究和開(kāi)發(fā)之初使用的是全球最強(qiáng)大的計(jì)算機(jī)，而且許多訓(xùn)練和推理仍需在云端的超級(jí)計(jì)算機(jī)和服務(wù)器區(qū)上完成。但是現(xiàn)在，技術(shù)已經(jīng)進(jìn)步到足以將機(jī)器學(xué)習(xí)從云端移動(dòng)到邊緣，這樣更實(shí)用。

我們?yōu)槭裁匆谶吘墝?shí)施機(jī)器學(xué)習(xí)？主要是為了提升用戶體驗(yàn)。人們不希望設(shè)備花費(fèi)太長(zhǎng)時(shí)間來(lái)識(shí)別人臉和服從命令。如果在云端完成識(shí)別和響應(yīng)，這很可能出現(xiàn)延遲、降低可靠性，并且更可能出現(xiàn)不合適的響應(yīng)。

服務(wù)型機(jī)器人、無(wú)人機(jī)和自動(dòng)駕駛車輛等可以移動(dòng)的機(jī)器對(duì)邊緣端機(jī)器學(xué)習(xí)具有更大的需求，因?yàn)樗鼈儽仨毘掷m(xù)收集傳感器輸入、推理出設(shè)備目前的狀態(tài)并在毫秒內(nèi)決策下一步行動(dòng)。物理定律限制了通過(guò)無(wú)線連接到遙遠(yuǎn)的云端服務(wù)器來(lái)進(jìn)行如此密集的數(shù)據(jù)收集和實(shí)時(shí)響應(yīng)。簡(jiǎn)而言之，可以移動(dòng)的自動(dòng)化機(jī)器需要完全獨(dú)立、可靠的機(jī)載學(xué)習(xí)和決策制定。

許多人和機(jī)器都需要保護(hù)隱私、保護(hù)重要數(shù)據(jù)和通信內(nèi)容，以防遭受黑客攻擊和復(fù)制。我們發(fā)現(xiàn)，防止未經(jīng)授權(quán)的應(yīng)用使用語(yǔ)音、視頻和傳感器數(shù)據(jù)的需求越來(lái)越高。顯而易見(jiàn)，當(dāng)原始數(shù)據(jù)存放在本地邊緣機(jī)器上時(shí)，很少甚至不需要向云端傳輸數(shù)據(jù)，這樣更容易保護(hù)用戶的安全與隱私。

最后，技術(shù)成本已經(jīng)降低到足夠低的水平，以便將機(jī)器學(xué)習(xí)處理應(yīng)用在樓宇、家庭和車內(nèi)的邊緣設(shè)備中。現(xiàn)有的云端帶寬、處理和存儲(chǔ)費(fèi)用可在以后進(jìn)一步降低甚至消除，這可以抵消將機(jī)器學(xué)習(xí)從云端遷移到各類型邊緣設(shè)備或傳感器節(jié)點(diǎn)所帶來(lái)的成本。

開(kāi)啟機(jī)器學(xué)習(xí)革新

恩智浦及其和合作伙伴一直以來(lái)不斷合作，提供集成式硬件、軟件和工具，開(kāi)始為實(shí)際應(yīng)用開(kāi)發(fā)價(jià)格合理且實(shí)用的機(jī)器學(xué)習(xí)解決方案。通過(guò)合作，我們正在構(gòu)建業(yè)內(nèi)最廣泛、可擴(kuò)展性最高、基于Arm?技術(shù)的處理平臺(tái)，它可以允許任何開(kāi)發(fā)擴(kuò)展或收縮，以針對(duì)每個(gè)特定用例制定高性價(jià)比解決方案。這會(huì)使軟件和平臺(tái)得以高度再利用，并降低維護(hù)和擁有成本。

作為開(kāi)展機(jī)器學(xué)習(xí)的第一步，許多NN解決方案在復(fù)雜的集中式計(jì)算平臺(tái)上建造訓(xùn)練模型或推理引擎，之后還可以在邊緣端的小型設(shè)備上運(yùn)行。訓(xùn)練模型或推理引擎是一組數(shù)學(xué)等式，可以檢測(cè)或識(shí)別對(duì)象、語(yǔ)言或預(yù)期行為中的變化。TensorFlow和Caffe是使用應(yīng)用編程接口(API)來(lái)解決復(fù)雜數(shù)學(xué)問(wèn)題的框架示例，使在不同平臺(tái)和硬件資源類型之間遷移訓(xùn)練模型和應(yīng)用變得更加簡(jiǎn)單。

下一步是從大量市面上已經(jīng)存在的平臺(tái)中選擇一個(gè)并將訓(xùn)練模型遷移到這個(gè)平臺(tái)。用于低帶寬傳感器輸入的機(jī)器學(xué)習(xí)通常可以由基于Arm Cortex?-M4或Cortex-M7技術(shù)的超低成本MCU（例如恩智浦的i.MX RT跨界處理器）處理。典型功能包括關(guān)鍵詞聲學(xué)檢測(cè)、特殊聲音或異常情況偵測(cè)，例如振動(dòng)或環(huán)境異常變化。  對(duì)于有限數(shù)量的人或單詞，人臉和語(yǔ)音識(shí)別也可以使用基于Cortex-M的微控制器運(yùn)行。

隨著復(fù)雜性的增加，尤其是在使用攝像頭傳感器輸入的情況下，可能會(huì)需要使用具有多核處理能力的設(shè)備，例如，具有一到四個(gè)Arm Cortex-A53內(nèi)核、以及一個(gè)Cortex-M7內(nèi)核的i.MX 8M Nano應(yīng)用處理器，具有OpenCL功能的GPU，MIPI-CSI攝像頭輸入和許多其他集成功能?，F(xiàn)在只需149.00美元，您就可以在https://coral.withgoogle.com上購(gòu)買完整的Google Coral?開(kāi)發(fā)板，用于高速和低功耗機(jī)器學(xué)習(xí)推理。通過(guò)該平臺(tái)，您能夠利用小尺寸(40 x 48 mm)量產(chǎn)型片上系統(tǒng)(SoC)快速?gòu)脑蛿U(kuò)展到生產(chǎn)，該系統(tǒng)內(nèi)置運(yùn)行Linux?操作系統(tǒng)的i.MX 8M四核應(yīng)用處理器、eMMC內(nèi)存、LPDDR4 RAM、Wi-Fi?和藍(lán)牙無(wú)線電以及Google強(qiáng)大的Edge TPU協(xié)處理器。Edge TPU是Google設(shè)計(jì)的一款小型ASIC，可在低功耗（4 TOPS，2W）下提供高性能的機(jī)器學(xué)習(xí)推理，并能夠以高于每秒100幀的速度運(yùn)行MobileNet v2等移動(dòng)視覺(jué)模型。

為了獲得更高的對(duì)象識(shí)別能力，您也可以使用i.MX 8QuadMax等應(yīng)用處理器，這類處理器集成了兩個(gè)Cortex-A72、四個(gè)Cortex-A53、兩個(gè)Cortex-M4內(nèi)核、兩個(gè)具有OpenCL和OpenVX視覺(jué)擴(kuò)展的GPU、一個(gè)DSP、最多可處理八個(gè)單通道攝像頭的八個(gè)MIPI-CSI通道以及其他多通道攝像頭組合。Basler（德國(guó)）和Congatec（德國(guó)）在i.MX 8QuadMax上展示了其組合的機(jī)器視覺(jué)和對(duì)象識(shí)別購(gòu)物解決方案，并且正在遷移到i.MX 8M系列以進(jìn)一步優(yōu)化成本。

有了這些可供選擇的硬件解決方案后，接下來(lái)我們還需要工具來(lái)優(yōu)化性能、降低系統(tǒng)成本、增加響應(yīng)時(shí)間和準(zhǔn)確性，以及優(yōu)化每個(gè)訓(xùn)練模型或推理引擎使用片上資源的方式。

機(jī)器學(xué)習(xí)軟件開(kāi)發(fā)環(huán)境

隨著機(jī)器學(xué)習(xí)遷移到邊緣，最大的挑戰(zhàn)之一是在資源受限的設(shè)備上部署機(jī)器學(xué)習(xí)應(yīng)用，尤其是已經(jīng)在云中構(gòu)建機(jī)器學(xué)習(xí)應(yīng)用的情況下。為了直接在邊緣設(shè)備上運(yùn)行，必須優(yōu)化這些模型并將其與支持特定計(jì)算機(jī)硬件類型的推理引擎（即CPU、GPU、DSP或機(jī)器學(xué)習(xí)加速器）進(jìn)行匹配。

Au-Zone Technologies Inc.提供了許多帶工具的機(jī)器學(xué)習(xí)演示，可以優(yōu)化各種設(shè)備的解決方案。他們的DeepView?機(jī)器學(xué)習(xí)工具包和RunTime推理引擎可幫助開(kāi)發(fā)人員在各種嵌入式MCU、CPU、GPU和機(jī)器學(xué)習(xí)加速器上快速設(shè)計(jì)、訓(xùn)練和部署深度學(xué)習(xí)網(wǎng)絡(luò)。Au-Zone的智能物聯(lián)網(wǎng)開(kāi)發(fā)套件建立在機(jī)器學(xué)習(xí)工具包的基礎(chǔ)上，提供一系列經(jīng)過(guò)驗(yàn)證的傳感器、處理器和模型組合，以支持極其快速的原型制作、定制和商業(yè)部署。

恩智浦的eIQ?機(jī)器學(xué)習(xí)軟件開(kāi)發(fā)環(huán)境支持具有推理引擎、神經(jīng)網(wǎng)絡(luò)編譯器和優(yōu)化庫(kù)的機(jī)器學(xué)習(xí)算法，這些算法專門針對(duì)恩智浦MCU、i.MX RT跨界處理器和i.MX應(yīng)用處理器。eIQ利用了開(kāi)源技術(shù)，并且已完全集成到恩智浦MCUXpresso軟件開(kāi)發(fā)套件(SDK)和Yocto開(kāi)發(fā)環(huán)境中。可以處理所有機(jī)器學(xué)習(xí)軟件的依賴關(guān)系，包括將先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)連接到底層計(jì)算引擎所需的必要硬件抽象層，從而幫助開(kāi)發(fā)者更輕松地開(kāi)發(fā)完整的系統(tǒng)級(jí)應(yīng)用。

在此視頻中，Arcturus Networks Inc.介紹了他們使用eIQ開(kāi)發(fā)環(huán)境遷移ArmNN和OpenCV模型以確保公共安全的經(jīng)驗(yàn)。

eIQ軟件開(kāi)發(fā)環(huán)境正在迅速擴(kuò)展。  我們已經(jīng)部署并優(yōu)化了其對(duì)多種技術(shù)的支持，例如CMSIS-NN、TensorFlow、TensorFlow Lite、OpenCV和Arm NN。eIQ軟件結(jié)合示例應(yīng)用進(jìn)行對(duì)象檢測(cè)和語(yǔ)音識(shí)別，為在邊緣部署機(jī)器學(xué)習(xí)奠定了基礎(chǔ)。正在進(jìn)行或計(jì)劃進(jìn)行進(jìn)一步開(kāi)發(fā)以提供：

?      基于目前熱門的的神經(jīng)網(wǎng)絡(luò)框架（例如TensorFlow、Caffe和ONNX）導(dǎo)入預(yù)訓(xùn)練模型的準(zhǔn)則

?      端到端示例應(yīng)用演示了典型的客戶用例，例如，攝像頭推理引擎

?      支持新興的神經(jīng)網(wǎng)絡(luò)編譯器，例如，GLOW

?      一套傳統(tǒng)機(jī)器學(xué)習(xí)算法，例如支持矢量機(jī)器(SVM)和隨機(jī)森林

云端解決方案

盡管在本地計(jì)算機(jī)上運(yùn)行機(jī)器學(xué)習(xí)模型有明顯的好處，但是我們不能忽視由Amazon和Microsoft等領(lǐng)先服務(wù)供應(yīng)商提供、基于云的熱門機(jī)器學(xué)習(xí)解決方案的優(yōu)勢(shì)。他們提供語(yǔ)音、視覺(jué)和其他機(jī)器學(xué)習(xí)服務(wù)，以及強(qiáng)大的開(kāi)發(fā)工具包，這些工具包易于使用、成本低廉且工作量最少。

Amazon的參考解決方案可以幫助您使用內(nèi)置的Alexa?語(yǔ)音服務(wù)(AVS)來(lái)創(chuàng)建交互式產(chǎn)品。這些工具包包括芯片組、語(yǔ)音處理技術(shù)和客戶端軟件，經(jīng)過(guò)認(rèn)證可以利用在各種處理器上運(yùn)行的AVS應(yīng)用編程接口，可從官網(wǎng)訂購(gòu)。

Microsoft通過(guò)由恩智浦i.MX RT106C跨界處理器支持的Azure IoT異常檢測(cè)解決方案，為Azure IoT用戶帶來(lái)了人工智能(AI)和機(jī)器學(xué)習(xí)(ML)功能。該工具箱提供一整套傳感器和相關(guān)的異常檢測(cè)工具箱，利用各種機(jī)器學(xué)習(xí)算法，如隨機(jī)森林和簡(jiǎn)單向量機(jī)(SVM)，模擬設(shè)備的正常行為，并通過(guò)本地和云組合機(jī)制，檢測(cè)異常行為。對(duì)于旋轉(zhuǎn)組件、狀態(tài)檢測(cè)和入侵檢測(cè)的預(yù)測(cè)性維護(hù)應(yīng)用等，這樣可以在保持完整的在線日志記錄和處理能力的同時(shí)大幅降低云帶寬要求。

微軟和恩智浦還宣布攜手合作，提供新的Microsoft Azure Sphere認(rèn)證跨界應(yīng)用處理器，以在邊緣節(jié)點(diǎn)處理器上無(wú)縫運(yùn)行Azure Sphere安全平臺(tái)，該處理器將提供多核異構(gòu)計(jì)算、豐富的圖形體驗(yàn)和低功耗音頻處理能力。

恩智浦將繼續(xù)與領(lǐng)先的軟件和硬件公司、研究人員和分銷商合作，提供機(jī)器學(xué)習(xí)解決方案，涵蓋范圍從通用示例代碼和參考設(shè)計(jì)，到經(jīng)認(rèn)證的即用型專用平臺(tái)，可以讓您靈活地添加自定義功能。

技術(shù)已經(jīng)準(zhǔn)備就緒，恩智浦也已經(jīng)準(zhǔn)備就緒，助您將機(jī)器學(xué)習(xí)理念發(fā)展為現(xiàn)實(shí)世界中價(jià)格合理且安全的產(chǎn)品。