開(kāi)啟邊緣智能新時(shí)代 ST引領(lǐng)AI開(kāi)發(fā)潮流

據(jù)悉，AI已被公認(rèn)為一項(xiàng)具有革命性影響力的技術(shù)，其力量足以改變眾多領(lǐng)域的格局。意法半導(dǎo)體深信，AI在塑造未來(lái)的連網(wǎng)世界中扮演著關(guān)鍵角色。這將是一個(gè)充滿智慧的萬(wàn)物互聯(lián)世界，數(shù)十億個(gè)裝置將以更高的安全性、連接性和智慧性為特點(diǎn)，共同構(gòu)建一個(gè)我們稱之為云端連接智慧邊緣的環(huán)境。在這個(gè)新世界中，裝置將擁有更強(qiáng)的自主能力，并與云端形成更為緊密的連接，這將不僅提升數(shù)據(jù)處理的數(shù)量，也將提高在地?cái)?shù)據(jù)處理的能力。

這些裝置將滲透到日常生活的方方面面，從家庭到工廠，從公司到城市，從大樓到交通出行，幾乎無(wú)處不在。當(dāng)我們深入剖析這些裝置的運(yùn)作模式以及它們所帶來(lái)的商業(yè)模式時(shí)，我們便能清晰地看到邊緣AI為我們的未來(lái)開(kāi)創(chuàng)了怎樣的新局面。

那么，意法半導(dǎo)體是如何將這一遠(yuǎn)景轉(zhuǎn)化為現(xiàn)實(shí)的呢？這又需要哪些關(guān)鍵元素的支持呢？意法半導(dǎo)體亞太區(qū)人工智能技術(shù)創(chuàng)新中心暨智能手機(jī)技術(shù)創(chuàng)新中心的資深經(jīng)理Matteo MARAVITA指出，邊緣AI的實(shí)現(xiàn)離不開(kāi)三個(gè)基本要素：安全性、連接性和自主性。而在今天的分享中，他將重點(diǎn)聚焦于第三個(gè)要素——如何提升這些裝置的智能和自主性，而?時(shí)將安全性和連接性問(wèn)題置于一旁。他將進(jìn)一步探討意法半導(dǎo)體是如何在這一領(lǐng)域?qū)崿F(xiàn)其遠(yuǎn)景的。


圖二

以車用傳感器為例，Matteo MARAVITA介紹了意法半導(dǎo)體與HPE集團(tuán)的合作。他們正在利用邊緣AI技術(shù)來(lái)優(yōu)化電動(dòng)汽車的馬達(dá)運(yùn)作。他們開(kāi)發(fā)了一種名為“虛擬傳感器”的解決方案，該方案將AI算法運(yùn)用在最新的Stellar系列車規(guī)微控制器上。這個(gè)算法能從傳感器中獲取馬達(dá)運(yùn)作的數(shù)據(jù)，并利用這些數(shù)據(jù)來(lái)推斷和估計(jì)那些無(wú)法直接測(cè)量的馬達(dá)內(nèi)部溫度。值得一提的是，這個(gè)車規(guī)微控制器不僅能執(zhí)行人工智能任務(wù)，還能驅(qū)動(dòng)馬達(dá)，并同時(shí)運(yùn)行其他預(yù)測(cè)性維護(hù)的AI算法，以識(shí)別減震、機(jī)械和電氣系統(tǒng)中可能存在的異常狀態(tài)。


 
圖三

在近期的一項(xiàng)技術(shù)合作中，知名計(jì)算機(jī)與筆記本電腦市場(chǎng)的領(lǐng)軍企業(yè)惠普與合作伙伴攜手，利用先進(jìn)的智慧傳感器技術(shù)，針對(duì)筆記本電腦的電源監(jiān)控進(jìn)行了優(yōu)化。該方案的核心在于采用了ST的六軸IMU MEMS傳感器，惠普與ST的工程師們緊密合作，通過(guò)在不同環(huán)境條件下收集IMU傳感器的資料，并根據(jù)不同設(shè)備與用戶行為模式來(lái)開(kāi)發(fā)和訓(xùn)練AI模型。


 
圖四

此次合作目的在識(shí)別特定使用場(chǎng)景，例如用戶將筆記本電腦合上并放入計(jì)算機(jī)包前忘記關(guān)閉電源的情況。在此類情況下，由于未能及時(shí)關(guān)閉系統(tǒng)，筆記本電腦可能會(huì)過(guò)熱，導(dǎo)致電池迅速耗盡。為了解決這一問(wèn)題，雙方全面收集了各類資料，并合作開(kāi)發(fā)了機(jī)器學(xué)習(xí)模型。一旦模型經(jīng)過(guò)驗(yàn)證，該算法將被整合至智能傳感器中，從而實(shí)現(xiàn)更為精準(zhǔn)的電源管理。
此外，在另一項(xiàng)引人注目的應(yīng)用中，AI技術(shù)也被成功引入到了日常生活中已存在數(shù)十年的洗衣機(jī)領(lǐng)域。隨著技術(shù)的不斷進(jìn)步，現(xiàn)代洗衣機(jī)在馬達(dá)控制性能上已實(shí)現(xiàn)了顯著的提升，相較于15或20年前的洗衣機(jī)，現(xiàn)在的洗衣機(jī)不僅馬達(dá)性能更高，而且能耗更低。


 
圖五

在此次創(chuàng)新中，STM32微控制器被用于控制洗衣機(jī)的馬達(dá)運(yùn)行，并同時(shí)執(zhí)行AI算法。馬達(dá)控制器算法將馬達(dá)的電流狀態(tài)信息發(fā)送至AI算法，后者利用這些信息來(lái)估算待洗衣物的重量。通過(guò)更準(zhǔn)確地估算衣物重量，洗衣機(jī)能夠選擇更為合適的洗滌程序，從而以恰到好處的電流驅(qū)動(dòng)馬達(dá)，減少整體用水量、洗衣液用量以及能源消耗。據(jù)統(tǒng)計(jì)，這一技術(shù)可為一個(gè)洗衣周期節(jié)省高達(dá)15到40%的能源和水資源。
不僅如此，AI算法還具備提前檢測(cè)洗衣機(jī)滾筒在旋轉(zhuǎn)過(guò)程中可能發(fā)生的碰撞以及撞擊洗衣機(jī)外殼的能力。這一功能的實(shí)現(xiàn)得益于ST的六軸IMU傳感器，使得整體解決方案更加穩(wěn)定可靠。
通過(guò)這些案例，我們可以看到，越來(lái)越多的公司、應(yīng)用領(lǐng)域的工程師們正積極尋求將人工智能技術(shù)整合到他們的產(chǎn)品中，以實(shí)現(xiàn)更高效、節(jié)能和穩(wěn)定的性能。


 
圖六

在當(dāng)前的技術(shù)領(lǐng)域中，開(kāi)發(fā)人員仍然面臨著一系列挑戰(zhàn)。這些挑戰(zhàn)主要可分為硬件和軟件兩大層面。從硬件角度來(lái)看，盡管開(kāi)發(fā)者追求實(shí)現(xiàn)人工智能功能，但仍需兼顧整體性能、安全性以及功耗控制。特別是在選擇硬件時(shí)，必須確保其具備特定的安全功能，并能在維持低功耗的同時(shí)穩(wěn)定運(yùn)行。對(duì)于半導(dǎo)體供貨商而言，如意法半導(dǎo)體，他們致力于為客戶提供一系列整體方案，以應(yīng)對(duì)不同硬設(shè)備的挑戰(zhàn)。


 
圖七

在另一方面，軟件層面的挑戰(zhàn)同樣不容忽視。為了在設(shè)備中實(shí)現(xiàn)可訓(xùn)練的模型，開(kāi)發(fā)者不僅需要在最終產(chǎn)品中創(chuàng)建、訓(xùn)練和部署模型，還需負(fù)責(zé)其維護(hù)。特別是在邊緣AI領(lǐng)域，這一挑戰(zhàn)尤為突出。
意法半導(dǎo)體早在十年前便開(kāi)始了AI研發(fā)計(jì)劃。他們從機(jī)器學(xué)習(xí)的基礎(chǔ)研究入手，專注于未來(lái)將成為焦點(diǎn)的邊緣設(shè)備。因此，他們的機(jī)器學(xué)習(xí)技術(shù)特別針對(duì)硬件資源受限的設(shè)備進(jìn)行了優(yōu)化。2018年，他們推出了首個(gè)STM32 AI函數(shù)庫(kù)——STM32Cube.AI，并自此開(kāi)始與客戶合作，共同開(kāi)發(fā)了多個(gè)項(xiàng)目。


 
圖八

同年，他們還推出了首款內(nèi)置MLC機(jī)器學(xué)習(xí)核心的MEMS傳感器，該傳感器具備機(jī)器學(xué)習(xí)模型硬件加速功能。此外，他們還加入了TinyML聯(lián)盟，并隨后將AI的布局和支持范圍擴(kuò)展至其他芯片，如車用微控制器和Linux相關(guān)產(chǎn)品，如STM32微處理器。
到了2021年，意法半導(dǎo)體進(jìn)一步推出了新的AutoML工具生態(tài)系統(tǒng)NanoEdge AI。一年后，他們?cè)俅伟l(fā)布了新款具有更先進(jìn)硬件加速器的MEMS傳感器，該傳感器能夠在同一設(shè)備內(nèi)運(yùn)行更小的深度學(xué)習(xí)網(wǎng)絡(luò)。去年，他們繼續(xù)改進(jìn)軟件生態(tài)系統(tǒng)，推出了STM32開(kāi)發(fā)者云端模型庫(kù)，并更新了Stellar系列車規(guī)MCU工具。


 
圖九

值得一提的是，STM32在通用微控制器領(lǐng)域取得了顯著成績(jī)。在MLPerf Tiny基準(zhǔn)檢驗(yàn)中，STM32提交的項(xiàng)目數(shù)量位居第一，占所有提交項(xiàng)目的73%。這充分證明了意法半導(dǎo)體多年的努力得到了回報(bào)，并吸引了大量開(kāi)發(fā)者在其平臺(tái)上進(jìn)行邊緣AI的開(kāi)發(fā)與探索。


 
圖十

這一成功的背后，有三個(gè)關(guān)鍵因素不可忽視。首先，意法半導(dǎo)體在通用微控制器、工業(yè)和消費(fèi)性微控制器市場(chǎng)具有優(yōu)勢(shì)地位，STM32系列特別適用于這些應(yīng)用。其次，他們對(duì)邊緣AI基準(zhǔn)檢驗(yàn)做出了重要貢獻(xiàn)，如MLPerf Tiny基準(zhǔn)檢驗(yàn)。最后，他們的在線平臺(tái)——STM32 AI開(kāi)發(fā)者云端平臺(tái)，為客戶和開(kāi)發(fā)者提供了便捷的在線工具和STM32開(kāi)發(fā)板，?明他們輕松測(cè)試模型。這些因素共同推動(dòng)了STM32在AI創(chuàng)新領(lǐng)域的廣泛應(yīng)用。


 
圖十一

在成功利用硬件解決方案協(xié)助開(kāi)發(fā)者應(yīng)對(duì)硬件挑戰(zhàn)之后，ST如今進(jìn)一步聚焦如何?明客戶克服軟件方面的挑戰(zhàn)。開(kāi)發(fā)邊緣AI解決方案涉及多種類型的AI工程師，他們各自擁有不同的開(kāi)發(fā)技能，因此其需求也各不相同。


 
圖十二

嵌入式軟件工程師是專注于實(shí)現(xiàn)邊緣AI并將其無(wú)縫整合到整個(gè)系統(tǒng)中的關(guān)鍵角色。這類工程師往往會(huì)從可靠的示例項(xiàng)目入手，根據(jù)特定應(yīng)用需求調(diào)整參考設(shè)計(jì)。與此同時(shí)，機(jī)器學(xué)習(xí)工程師、AI工程師或數(shù)據(jù)科學(xué)家則主要致力于機(jī)器學(xué)習(xí)模型的研發(fā)，他們不僅關(guān)注模型的數(shù)據(jù)集，還需根據(jù)目標(biāo)硬件裝置優(yōu)化模型性能。


 
圖十三

硬件工程師則渴望擁有一個(gè)簡(jiǎn)便的基準(zhǔn)檢驗(yàn)工具，以便在不同的硬件平臺(tái)或組件上測(cè)試數(shù)據(jù)科學(xué)家提供的先進(jìn)算法，并在性能、功耗、尺寸和價(jià)格之間找到最佳平衡點(diǎn)。
鑒于這些多樣化的需求，ST開(kāi)發(fā)了一個(gè)獨(dú)特的工具——ST Edge AI開(kāi)發(fā)工具包，以滿足各類工程師的需求。


 
圖十四

那么，ST Edge AI開(kāi)發(fā)工具包究竟是什么呢？它是一個(gè)集成了邊緣AI開(kāi)發(fā)所需全套工具和模塊的綜合性解決方案。從利用模型庫(kù)建立示例、收集數(shù)據(jù)集，到將模型部署到特定硬件，該套件覆蓋了整個(gè)開(kāi)發(fā)流程?？蛻艨梢岳肧T的AutoML工具直接從數(shù)據(jù)開(kāi)始構(gòu)建模型，或者采用自研或第三方工具將自主研發(fā)的模型導(dǎo)入套件，進(jìn)行模型基準(zhǔn)檢驗(yàn)，并在硬件上部署模型。


 
圖十五

ST Edge AI開(kāi)發(fā)工具包旨在支持多種硬件，包括MEMS傳感器、微控制器、MPU微處理器以及車用微控制器。此外，套件還提供了豐富的開(kāi)發(fā)資源，如文檔、培訓(xùn)課程和小區(qū)訪問(wèn)權(quán)限等，為開(kāi)發(fā)者提供了全方位的支持。


 
圖十六

ST正致力于將多個(gè)工具整合為一個(gè)全面的邊緣AI開(kāi)發(fā)工具包，詳細(xì)信息已全部呈現(xiàn)。這一生態(tài)系統(tǒng)不僅與內(nèi)部AI開(kāi)發(fā)流程相兼容，同時(shí)也與外部AI開(kāi)發(fā)生態(tài)系統(tǒng)保持協(xié)同工作。值得一提的是，該套件支持眾多主流且廣泛應(yīng)用的深度學(xué)習(xí)框架，包括TensorFlow Lite、Keras、PyTorch等，使得用戶能夠輕松利用這些框架訓(xùn)練的機(jī)器學(xué)習(xí)模型進(jìn)行開(kāi)發(fā)。


 
圖十七

此外，ST Edge AI開(kāi)發(fā)工具包還展示了與NVIDIA工具包的兼容性，為用戶提供更多選擇和靈活性。同時(shí)，該套件也提供了與AWS和微軟Azure等云端服務(wù)的連接可能性，使得用戶能夠輕松將邊緣AI解決方案與云端服務(wù)相結(jié)合，實(shí)現(xiàn)更廣泛的數(shù)據(jù)處理和分析。

不僅如此，ST Edge AI開(kāi)發(fā)工具包還與MATLAB等模擬工具保持兼容，為用戶提供了更強(qiáng)大的模擬和測(cè)試能力。這使得用戶能夠在開(kāi)發(fā)過(guò)程中更早地發(fā)現(xiàn)和解決問(wèn)題，提高開(kāi)發(fā)效率和質(zhì)量。


 
圖十九

ST Edge AI解決方案的核心在于其通用的軟件庫(kù)和指令列接口，即ST Edge AI核心。這一核心功能使得客戶能夠方便地評(píng)估機(jī)器學(xué)習(xí)模型，并利用工具將模型編譯為特定目標(biāo)。因此，無(wú)論是STM32微控制器、Stellar車用微控制器，還是具備MLC或ISPU等硬件加速器的MEMS傳感器，都可以輕松集成到ST Edge AI解決方案中。


 
圖二十

值得一提的是，這些工具都是免費(fèi)的。不僅ST Edge AI套件本身是免費(fèi)的，而且ST還宣布自去年12月起，Nano AI Studio在任何STM32上都可以無(wú)限免費(fèi)使用。此外，ST還將根據(jù)特殊許可協(xié)議，繼續(xù)為客戶提供其他搭載Arm Cortex-M核心的微控制器的支持。


 
圖二十一

綜上所述，ST Edge AI開(kāi)發(fā)工具包為用戶提供了一個(gè)全面、高效且靈活的邊緣AI開(kāi)發(fā)解決方案。無(wú)論是初學(xué)者還是有經(jīng)驗(yàn)的開(kāi)發(fā)者，都能夠利用這一套件快速構(gòu)建和優(yōu)化邊緣AI應(yīng)用，推動(dòng)智慧化時(shí)代的發(fā)展。