MCU巨頭 奔向同一個(gè)目標(biāo)

現(xiàn)在，被稱為是單片機(jī)的微控制器（MCU）已經(jīng)越來越“不簡(jiǎn)單”。隨著物聯(lián)網(wǎng)設(shè)備的普及和應(yīng)用場(chǎng)景的擴(kuò)大，對(duì)于更智能化和自主決策能力的需求也在增加，作為物聯(lián)網(wǎng)設(shè)備中必不可少的大腦——MCU，正朝著更智能化、更強(qiáng)大的方向發(fā)展。越來越多的傳統(tǒng)微控制器單元（MCU）巨頭們開始意識(shí)到將AI功能與MCU相結(jié)合的潛力，并積極投入到AI領(lǐng)域的研發(fā)中。傳統(tǒng)認(rèn)知中，人工智能（AI）相關(guān)的深度學(xué)習(xí)應(yīng)用，只有算力充沛的MPU或者是PC才能玩得轉(zhuǎn)。那么，MCU廠商們將如何應(yīng)對(duì)這一新趨勢(shì)呢？

為什么要在MCU集成AI？

首先，讓我們來了解下，為何MCU大廠要在MCU產(chǎn)品中布局AI，在MCU上跑AI或者將MCU與NPU等集成在一起的好處有哪些？大致可歸納為如下幾個(gè)方面：

低功耗和高效性能：MCU通常具有較低的功耗和較高的能效特性，適合應(yīng)用于低功耗場(chǎng)景。將AI算法和處理能力與MCU集成在一起，可以在低功耗的情況下實(shí)現(xiàn)高效的AI計(jì)算。這對(duì)于一些需要長(zhǎng)時(shí)間運(yùn)行、依賴于電池供電或功耗敏感的應(yīng)用非常重要。

實(shí)時(shí)性和即時(shí)響應(yīng)：將AI能力集成到MCU上，使得AI算法可以實(shí)時(shí)地在設(shè)備本地進(jìn)行處理和響應(yīng)，而無需依賴于云端或其他遠(yuǎn)程服務(wù)器。這提高了系統(tǒng)的實(shí)時(shí)性和即時(shí)響應(yīng)能力，使得設(shè)備能夠更快速地做出決策和反應(yīng)，適用于許多實(shí)時(shí)應(yīng)用場(chǎng)景，如嵌入式控制、邊緣計(jì)算等。

隱私和數(shù)據(jù)安全：將AI算法和數(shù)據(jù)處理能力放在設(shè)備本地，可以減少對(duì)云端的依賴，從而增強(qiáng)隱私和數(shù)據(jù)安全性。敏感數(shù)據(jù)可以在本地設(shè)備上進(jìn)行處理，減少了數(shù)據(jù)傳輸?shù)娘L(fēng)險(xiǎn)和隱私泄露的可能性。這對(duì)于一些對(duì)隱私和數(shù)據(jù)安全要求較高的應(yīng)用，如智能家居、醫(yī)療設(shè)備等非常重要。

靈活性和定制化：將MCU與NPU等AI處理單元集成在一起，可以為設(shè)備提供更大的靈活性和定制化能力。根據(jù)特定的應(yīng)用需求，可以選擇不同的MCU和AI處理單元的組合，以實(shí)現(xiàn)最佳的性能和能效平衡。這種靈活性和定制化能力可以適應(yīng)各種應(yīng)用場(chǎng)景和需求的變化。

減少系統(tǒng)復(fù)雜性和成本：相對(duì)于將AI處理能力集中在獨(dú)立的處理器或芯片中，將其集成在MCU中可以減少組件數(shù)量和系統(tǒng)復(fù)雜性，從而降低了系統(tǒng)設(shè)計(jì)和制造的成本。

總之，有AI功能的MCU可以為物聯(lián)網(wǎng)設(shè)備提供更高級(jí)的控制和計(jì)算能力，使其能夠進(jìn)行復(fù)雜的推理和決策。因此，現(xiàn)在為邊緣設(shè)備創(chuàng)建機(jī)器學(xué)習(xí)模型正成為一種大的趨勢(shì)，這些模型稱為微型機(jī)器學(xué)習(xí)或TinyML，它主要適用于內(nèi)存和處理能力有限的設(shè)備，以及互聯(lián)網(wǎng)連接不存在或有限的設(shè)備。TinyML使在MCU上運(yùn)行深度學(xué)習(xí)模型成為可能。TinyML在MCU上的應(yīng)用越來越普遍。

但是，想讓深度學(xué)習(xí)模型在MCU上跑起來，不是易事。MCU上跑AI，最關(guān)鍵的是如何將訓(xùn)練好的深度學(xué)習(xí)的模型，轉(zhuǎn)換并部署到MCU上，這需要一整套工具和方法，這對(duì)于傳統(tǒng)的MCU廠商而言還是有一定門檻的。因此，要在MCU上部署AI，必須在軟件和硬件兩方面同時(shí)著力。那么MCU巨頭們都是如何做的呢？

MCU廠商自行設(shè)計(jì)機(jī)器學(xué)習(xí)軟件

AI應(yīng)用通常需要硬件和軟件的緊密配合。但從MCU本身的屬性來看，它的資源非常有限，因此需要特定的軟件庫和工具來支持AI任務(wù)。然而，與傳統(tǒng)的計(jì)算機(jī)平臺(tái)相比，MCU上的AI軟件庫和工具的選擇和可用性相對(duì)較少。開發(fā)人員可能需要自行優(yōu)化和適配現(xiàn)有的庫，或者開發(fā)專門針對(duì)MCU的AI軟件。在幾大MCU巨頭廠商里，恩智浦和ST均已經(jīng)自行設(shè)計(jì)了機(jī)器學(xué)習(xí)相關(guān)的軟件。

恩智浦在2018年推出了機(jī)器學(xué)習(xí)軟件eIQ軟件，該軟件能夠在恩智浦EdgeVerse微控制器和微處理器（包括i.MX RT跨界MCU和i.MX系列應(yīng)用處理器）上使用。

后來，為了降低MCU運(yùn)行AI算法的門檻，恩智浦還打造了一個(gè)適用于MCU的AI工具鏈——NANO.AI。它主要包含兩部分，一部分是將原始算法模型轉(zhuǎn)換成MCU上能夠快速運(yùn)行的數(shù)據(jù)和庫，另一部分包含一個(gè)輕量級(jí)推理引擎，能做出一個(gè)能跑在MCU上、只需幾兆Flash甚至幾兆SDRAM的方案。

目前，恩智浦已經(jīng)推出了帶有AI功能的MCU產(chǎn)品，MCX N系列是恩智浦集成NPU的第一個(gè)產(chǎn)品家族，MCX N94x和MCX N54x MCU系列中集成了恩智浦設(shè)計(jì)的用于實(shí)時(shí)推理的專用片上神經(jīng)處理單元 (NPU)。據(jù)悉，與單獨(dú)使用 CPU內(nèi)核相比，片上NPU的ML吞吐量最高可提高 30 倍。

2019年ST也發(fā)布了一款STM32Cube.AI工具，這使開發(fā)者在MCU上優(yōu)化AI模型成為可能。STM32Cube.AI是一款用來評(píng)估、轉(zhuǎn)換、優(yōu)化和部署已訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型的工具，適合主流的人工智能框架，可為開發(fā)者提供評(píng)估和調(diào)整算法的能力。

而其實(shí)ST很早就在AI上進(jìn)行起布局，這大約可以追溯到2017年，在2017年ISSCC（國(guó)際固態(tài)電路會(huì)議）上ST 揭曉了一種能夠加速深度卷積神經(jīng)網(wǎng)絡(luò)算法的超低功耗片上系統(tǒng) (SoC)—Orlando。Orlando使用Cortex-M4微控制器 (MCU) 和 128 KB 內(nèi)存、八個(gè)可編程集群，每個(gè)集群包含兩個(gè) 32 位 DSP 和四個(gè) SRAM 組，每個(gè)組提供四個(gè)模塊，每個(gè)模塊為 2 x 64 KB。與這個(gè)高效核心相結(jié)合的是圖像和 CNN 協(xié)處理器（稱為神經(jīng)處理單元或 NPU），它集成了八個(gè)卷積加速器 (CA) 等。

與第三方軟件工具商合作

與第三方軟件工具商合作，對(duì)于MCU廠商而言，也不失為是一個(gè)好的策略，第三方機(jī)器學(xué)習(xí)軟件工具商通常擁有豐富的機(jī)器學(xué)習(xí)算法和工具庫，MCU廠商可以基于這些軟件工具構(gòu)建自己的解決方案，并根據(jù)客戶需求提供定制化的選擇。在這方面，Microchip、瑞薩、ST都有相關(guān)的布局。

2020年9月，Microchip宣布與Cartesiam（現(xiàn)已被ST收購(gòu)）、Edge Impulse和Motion Gestures合作，將這些合作伙伴的軟件和解決方案的接口引入其設(shè)計(jì)環(huán)境，使Microchip的32位MCU和MPLAB X集成開發(fā)環(huán)境，能夠在其 AI/ML 項(xiàng)目的所有階段為客戶提供獨(dú)特的支持，包括數(shù)據(jù)收集、模型訓(xùn)練和推理實(shí)施。

據(jù)悉，Microchip機(jī)器學(xué)習(xí) (ML) 技術(shù)的核心是用于MPLAB X IDE的ML插件。ML插件在 MPLAB Data Visualizer 中工作，簡(jiǎn)化了數(shù)據(jù)收集過程并支持快速開發(fā)嵌入式ML解決方案。ML插件檢索的數(shù)據(jù)由他們的設(shè)計(jì)合作伙伴得工具進(jìn)行分析，并有助于事件識(shí)別和數(shù)據(jù)模式異常檢測(cè)。

在近日的STM32峰會(huì)上，ST宣布與英偉達(dá)合作，將NIVIDIA TAO和STM32Cube.AI工具相整合，讓開發(fā)者STM32微控制器上無縫訓(xùn)練和實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)模型，以達(dá)到適配的性能和精度。NVIDIA TAO是一個(gè)加速AI算法開發(fā)和優(yōu)化的開發(fā)環(huán)境，TAO工具包提供了一個(gè)低代碼的人工智能框架，以加速視覺模型的開發(fā)。

但是與第三方軟件工具商合作也有弊端，如Microchip合作的Cartesiam軟件工具商就被ST收購(gòu)（下文中講述），還可能存在技術(shù)整合和兼容性問題、依賴性等問題。

通過收購(gòu)補(bǔ)齊軟件上的短板

毫無疑問，MCU廠商已經(jīng)意識(shí)到AI技術(shù)對(duì)于MCU的重要性，而且AI領(lǐng)域的技術(shù)變化快速，收購(gòu)是實(shí)現(xiàn)技術(shù)升級(jí)的一個(gè)快速途徑。這也有助于簡(jiǎn)化客戶的采購(gòu)和集成過程，提高產(chǎn)品的易用性和競(jìng)爭(zhēng)力。

我們已經(jīng)看到，近兩年來，越來越多的MCU巨頭開始通過收購(gòu)一些專注于MCU的AI解決方案和軟件工具的廠商，來增強(qiáng)自身在AI領(lǐng)域的競(jìng)爭(zhēng)力。

首先是意法半導(dǎo)體（ST），2021年6月3日，意法半導(dǎo)體宣布收購(gòu)邊緣AI軟件專業(yè)開發(fā)公司Cartesiam。Cartesiam成立于2016年，總部位于法國(guó)土倫，專門從事人工智能開發(fā)工具研發(fā)，讓基于Arm的MCU具有機(jī)器學(xué)習(xí)和推理能力。該公司開發(fā)了具有專利的NanoEdge AI Studio旗艦解決方案，它能讓沒有AI知識(shí)背景的嵌入式系統(tǒng)設(shè)計(jì)人員也可以快速開發(fā)專用的軟件庫，NanoEdge? AI Studio可以讓開發(fā)人員基于少量數(shù)據(jù)，通過創(chuàng)建、清理、優(yōu)化數(shù)據(jù)集等步驟創(chuàng)建適配的ML庫。NanoEdge具有異常檢測(cè)與設(shè)備學(xué)習(xí)的能力，也提供分類和回歸庫。收購(gòu)Cartesiam公司之后，該公司的NanoEdge AI Studio方案將對(duì)ST的STM32Cube.AI實(shí)現(xiàn)進(jìn)一步完善和補(bǔ)充。

據(jù)悉，ST即將推出第一個(gè)帶有神經(jīng)網(wǎng)絡(luò)硬件處理單元（Neural-Art Accelerator）的通用微控制器——STM32N6，這款MCU與其STM32MP1微處理器（運(yùn)行頻率為 800MHz 的雙 Cortex-A7）相比，STM32N6 的推斷速度提高了25倍。

再一個(gè)是瑞薩，2022年7月20日，瑞薩宣布，完成對(duì)美國(guó)從事機(jī)器學(xué)習(xí)模型開發(fā)的初創(chuàng)企業(yè)Reality AI。Reality AI主要為汽車、工業(yè)和商業(yè)產(chǎn)品中的高級(jí)非視覺傳感提供范圍廣泛的嵌入式人工智能和微型機(jī)器學(xué)習(xí) (TinyML) 解決方案。

此次收購(gòu)將使瑞薩電子能夠擴(kuò)展其用于人工智能應(yīng)用的工具套件和軟件產(chǎn)品，將Reality AI的人工智能推理技術(shù)與瑞薩電子的MCU和MPU產(chǎn)品組合相結(jié)合，將實(shí)現(xiàn)機(jī)器學(xué)習(xí)和信號(hào)處理的無縫實(shí)施。據(jù)了解，與使用量化、壓縮、修剪或其他機(jī)器學(xué)習(xí)技術(shù)使模型變小但精度降低的方法不同，Reality AI將先進(jìn)的信號(hào)處理方法與機(jī)器學(xué)習(xí)相結(jié)合，在不影響體積的情況下提供完全的精度。

據(jù)瑞薩物聯(lián)網(wǎng)及基礎(chǔ)設(shè)施事業(yè)本部MCU事業(yè)發(fā)展部副總裁Mohammed Dogar的介紹，瑞薩將全面擁抱AI。目前嵌入式AI分析主要有三個(gè)場(chǎng)景：視頻、語音以及實(shí)時(shí)分析。在這三個(gè)場(chǎng)景中，瑞薩均在布局，其中前兩種主要是跟第三方合作伙伴來實(shí)現(xiàn)，而對(duì)于實(shí)時(shí)分析，主要就是通過收購(gòu)Reality AI來實(shí)現(xiàn)。

英飛凌在近日也剛剛發(fā)布了收購(gòu)的信息，2023年5月16日，英飛凌宣布，已收購(gòu)總部位于瑞典斯德哥爾摩的初創(chuàng)公司Imagimob AB。Imagimob是快速增長(zhǎng)的微型機(jī)器學(xué)習(xí)和自動(dòng)機(jī)器學(xué)習(xí)（TinyML 和 AutoML）市場(chǎng)的領(lǐng)先者。據(jù)了解，Imagimob開發(fā)了一個(gè)端到端的機(jī)器學(xué)習(xí)工具鏈，該工具鏈高度靈活且易于使用，重點(diǎn)放在交付生產(chǎn)級(jí)ML模型上。英飛凌將收購(gòu)該公司 100% 的股份。以提升其微控制器和傳感器上的 TinyML邊緣 AI 功能。

這筆交易將進(jìn)一步擴(kuò)展英飛凌的硬件/軟件生態(tài)系統(tǒng)，使使用從賽普拉斯和英飛凌傳感器系列獲得的 PSoC 微控制器的開發(fā)人員可以更方便地使用 TinyML。但也有可能在內(nèi)部用于無線 AIROC 芯片的固件，以通過使用 TinyML 優(yōu)化信號(hào)鏈來提高性能并降低功耗。

總體而言，通過收購(gòu)掌握AI軟件技術(shù)，這些廠商可以在其MCU產(chǎn)品中實(shí)現(xiàn)更深層次的集成，提供更加完整和高性能的解決方案。

結(jié)語

我們正在邁入AIoT時(shí)代，AI深入到邊緣和終端裝置，已經(jīng)是一個(gè)長(zhǎng)期必然的大方向。MCU這個(gè)芯片界的老前輩，也在因應(yīng)市場(chǎng)需求，衍生出更多的功能。目前幾乎幾大MCU巨頭均已經(jīng)在AI軟件方面?zhèn)渥懔藦椝帲酉聛砭褪潜绕串a(chǎn)品的過程。而在這個(gè)逐漸由AI驅(qū)動(dòng)的MCU的未來，國(guó)內(nèi)MCU廠商將面臨著更大的挑戰(zhàn)。