為什么邊緣人工智能如此重要

早在幾年前，在房屋、汽車甚至手機中配備私人助理的概念，還是個是科幻小說的情節(jié)—它可以識別您的聲音來播放您喜歡的音樂、商店、監(jiān)控身體健康狀況、控制家庭自動化并且處理各種生活瑣事。但自從Apple在2011年推出Siri以來，具備數(shù)字助理的人工智能（AI）連接設備的數(shù)量大幅度地成長，目前包括Amazon的Alexa、微軟的Cortana以及三星的Bixby等。

當連網(wǎng)設備失去網(wǎng)絡連接時，我們的生活肯定會被打亂。用于語音識別的AI在云運行，因此沒有網(wǎng)絡就表示沒辦法提供語音協(xié)助。為了保護我們連接的設備，難道沒有互聯(lián)網(wǎng)連接，設備就無法在本地端處理工作了嗎？事實上，如果將AI置于邊緣，這就可以實現(xiàn)。

雖然將邊緣AI應用于數(shù)字助理是一種可能的用途，但這個技術將對許多行業(yè)產(chǎn)生深遠的影響，包括運輸、國防、制造業(yè)和醫(yī)療保健等。邊緣AI將如何改變這些行業(yè)，它為什么如此重要呢？

邊緣AI是指可以在硬設備本地端處理AI算法。處理的算法使用來自設備的數(shù)據(jù)（信號或傳感器數(shù)據(jù)）。而使用邊緣AI的設備無需連續(xù)連接到云即可正常運行，因為它無需互聯(lián)網(wǎng)即可獨立處理數(shù)據(jù)和做出決策。

為了在邊緣使用人工智能，設備除了包含最初設計用來執(zhí)行其工作的零組件外，還要必須具備微處理器、傳感器和AI算法。

其中一個范例是一種電池供電的設備，該設備可以連接到云，但在微處理器上運行的邊緣AI軟件應用可以實時處理數(shù)據(jù)。產(chǎn)生的數(shù)據(jù)就在設備上進行分析，并且存儲在本地。必要時，設備可以連接到云并通過互聯(lián)網(wǎng)傳輸其數(shù)據(jù)，以實現(xiàn)冗余存儲和長期分析。如果設備持續(xù)地將數(shù)據(jù)傳輸?shù)皆?，則電池壽命將受到負面影響。在這個簡單的例子中，邊緣AI可以延長設備的電池壽命。

任何基于機器學習之解決方案的兩個主要階段是訓練和推理。

? 訓練：在此階段中，將大量已知數(shù)據(jù)提供給機器學習算法，使其學習該做什么。利用這些數(shù)據(jù)，算法可以產(chǎn)出包含其學習結果的「模型」。此階段就處理能力而言，要求極高。

? 推論：設備將學習到的模型與新數(shù)據(jù)一起使用，來推論它該識別的。簡而言之，設備會解讀正在詢問的內容，然后完成被要求的工作。

訓練階段中的「已知數(shù)據(jù)」稱為標記數(shù)據(jù)。這表示著每段數(shù)據(jù)（例如聲音，圖像等）都有一個描述其內容的標簽。語音識別AI經(jīng)過數(shù)千小時的標記語音數(shù)據(jù)訓練，以便從口語句子中提取文本。然后可以使用自然語言識別將文本轉換為計算器可以理解的命令。

一旦完成訓練，設備就需要處理能力的一部分來執(zhí)行推理階段；這主要是因為推理是使用一組輸入數(shù)據(jù)，而訓練通常需要大量的樣本。用于推理的生產(chǎn)模型也是凍結的，意指無法再學習，并且可能刪除了無關的功能，也針對目標環(huán)境仔細地優(yōu)化。最終結果是它可直接在嵌入式設備上運行。決策能力位于設備里面，因此可使其具有自主性。這就是的邊緣AI。

如同許多新概念一樣，邊緣AI背后的技術已經(jīng)存在了一段時間：機器學習算法在計算器和智能手機中很常見，而且運作得很好。然而對于嵌入式設備是如何呢？這些工具和硬件現(xiàn)在可以組合在一起，成為一個有意義的解決方案，這主要歸功于：

? 設備處理能力的提高以及更多可用的模塊，為AI圖形處理單元（GPU）和特定應用集成電路（ASIC）提供了硬件加速。

? 不斷改進AI算法模型及其性能。

? 工具和資源的質量使數(shù)據(jù)科學家、AI專家和開發(fā)人員研究過程更加輕松。

現(xiàn)在，我們不僅可以在超級計算器中整合AI功能，還可以在汽車、智能手機、網(wǎng)頁、Wi-Fi路由器、工廠機器人或是從小型到大型，從簡單到復雜的各種應用程序中整合AI功能。

關于邊緣AI，首先要選擇正確的硬件。邊緣設備上的AI推理可以在多個種硬件上執(zhí)行。

? CPU: 在智能手機和嵌入式設備上，最近推出的任何Arm CPU（Cortex-A7及更高階版本）都具有在邊緣處理AI的能力。這可能不是最快或最有效的解決方案，但通常是最簡單的。常用的是TensorFlow Lite軟件，可提供大型TensorFlow框架中的關鍵功能。

? GPU: 對GPU(圖形處理器)開箱即用的支持會有所不同，但通常會提供較大數(shù)據(jù)吞吐量，進而可提供出色的推理頻率和較低的延遲。GPU還能從CPU移除的大量工作負載，可提高整體運行速度和效率。

? AI 專用硬件: ASIC和張量處理單元（TPU）。這些硬件組件提供了最有效的AI解決方案，但通常價格昂貴且較難設計。

進一步來分析GPU和AI專用硬件。

一種可能性是利用GPU的處理能力和并行能力。人工智能就像一個擁有數(shù)百個神經(jīng)元的虛擬大腦：它看起來很復雜，但其實是由許多簡單的元素組成（如神經(jīng)元）。這就是GPU成為重點的地方。簡單且獨立的運行將應用于屏幕上的每一個單點（像素或頂點）。大多數(shù)機器學習框架（例如TensorFlow，Caffe，AML等）設計為利用適當?shù)挠布６鴰缀跛蠫PU都可用來完成這些工作。

另一個解決方案是整合專用硬件。透過定制的硬件來加速機器學習，如 AI專用芯片和AI ASIC。Google推出了Edge TPU，Arm推出了機器學習和物體偵測處理器；英特爾，微軟和亞馬遜也都在開發(fā)自己的解決方案。當前，最好的選擇即是使用您的AI工具集所支持的GPU。

雖然目前邊緣AI是一個熱門話題，但它不會只是一時的流行，因為邊緣AI可以帶來真正的價值。

1. 脫機可用性/延遲: 如果無論條件和連網(wǎng)狀態(tài)如何都需要使用應用程序，就必須在本地端處理智能。由于遠程的蜂巢式數(shù)據(jù)不穩(wěn)定，或是DDoS攻擊(分布式阻斷服務)等許多因素，可能會導致延遲或完全失去連接。這對于基于云端的解決方案而言，是一個巨大的問題及挑戰(zhàn)。但是，如果智能是在本地的設備上做維護，則無需擔心。

2. 降低云服務成本: 云服務很方便，因為它的可擴展性和可用性，但這也表示會產(chǎn)生相當高的經(jīng)常性成本；此成本通常隨著解決方案的廣泛采用而增加。這些成本是在產(chǎn)品的整個生命周期內產(chǎn)生的。但是，如果是出售運行AI的獨立設備，則可大幅降低其經(jīng)常性成本和基礎架構需求。

3. 限制連網(wǎng)成本: 帶寬和蜂巢式數(shù)據(jù)也十分昂貴。僅發(fā)送AI的計算結果給云做長期分析使用，而在本地處理數(shù)據(jù)數(shù)據(jù)，則可以大大地節(jié)省成本。如關于視訊安全的解決方案，megabytes之多的視訊數(shù)據(jù)將轉換為幾個bytes。

4. 合規(guī)性和機密信息: 當可以在本地收集和處理關鍵訊息時，為什么還要透過互聯(lián)網(wǎng)發(fā)送重要信息呢？這并不意味著應減少對設備安全性的重視，而是可以少點擔心并使客戶也放心。

5. 反應時間十分重要: 在本地收集和處理數(shù)據(jù)可以加快反應時間，從而提高安全性、性能和用戶體驗。

6. 綠色意識: 在設計高效率的AI設備時，本地處理數(shù)據(jù)絕對有意義。中小型物聯(lián)網(wǎng)設備每天將傳輸約1MB的數(shù)據(jù)，大致相當于20克的二氧化碳。以每年復利計算，10,000臺設備，將造成多達80噸的二氧化碳污染。在本地處理數(shù)據(jù)可污染縮減到1噸以下，這對地球環(huán)境才是有益的。而基于視訊或圖像的解決方案會產(chǎn)生更大的影響。

邊緣AI是比云端AI整合更新的技術，并且本質上具有一定的局限性。以下列出了一些限制和風險。

1. 具有邊緣功能的設備: AI需要整合至一個設備上?？梢允窍裰悄苁謾C這樣的移動設備，也可以是與自動駕駛汽車一樣大的設備。無論在哪里，設備都必須能夠有效地運行AI解決方案。

2. 性能受到設備的限制: 邊緣設備和大量的虛擬服務器相比，具有較少的處理能力。因此，從一開始就確定反應時間和解決方案的復雜性來進行正確的設計是非常重要的。

3. 需要連接性來更新模型: 盡管推理速度很快，訓練通常也是一個漫長的過程，甚至在功能強大的專用硬件上也是相同。這就是為什么需要在專用機器上執(zhí)行而不能在設備等級別的設備上執(zhí)行的原因。每隔一段時間后，將需要更新模型來識別新的句子、支持新場景、執(zhí)行新功能等；部署此更新的最有效方法是使用空中下載（OTA）機制。

以下為邊緣AI如何影響變化的幾個例子。

工業(yè)應用:

? 大大減少了設備故障和停機時間；這部分估計每年造成500億美元的損失。

? AI能源管理可在制造過程中平均降低20％的能源消耗。

? 使用本地端AI的智能監(jiān)控，可以快速識別和解決生產(chǎn)問題。

運輸應用:

? 24/7/365可以運行，可最大化設備的投資回報率。

? 減少人工成本

? 估計可減少60％的有害排放量。

邊緣AI是許多AI服務的下一步。高度的可用性、數(shù)據(jù)安全性，以及減少延遲和節(jié)省成本是未來AI系統(tǒng)的關鍵優(yōu)勢。無論是公司還是個人，現(xiàn)在都是擁抱此邊緣AI的好時機。盡管有些人可能認為技術尚未成熟，但是它正在迅速發(fā)展與融合。只需有限的投入，就可以進行實驗和實施概念驗證，從而在全球采納此技術前就可以獲得競爭優(yōu)勢。有鑒于AI和IoT指數(shù)級的增長，邊緣AI的成長是必然的，這絕對是個絕佳的投資機會。