降低MCU運(yùn)行AI算法的門檻！恩智浦Nano.AI工具鏈解讀

編譯 |  心緣
編輯 |  漠影
5月25日，覆蓋輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)、模型壓縮、AI推理引擎、AI芯片架構(gòu)創(chuàng)新等主題的GTIC 2021嵌入式AI創(chuàng)新峰會(huì)將在北京舉行。屆時(shí)，嵌入式AI產(chǎn)業(yè)鏈10+位技術(shù)大牛及業(yè)界專家齊聚，探討物聯(lián)網(wǎng)與AI融合賽道的核心議題。峰會(huì)前夕，我們與多位嘉賓進(jìn)行系列深度訪談，提前一睹他們對(duì)產(chǎn)業(yè)的真知灼見(jiàn)。本期訪談嘉賓為恩智浦半導(dǎo)體IoT解決方案高級(jí)經(jīng)理秦建峰，他將帶來(lái)主題為《如何設(shè)計(jì)高效率MCU AI工具鏈》的演講。秦建峰擁有中國(guó)科學(xué)技術(shù)大學(xué)碩士學(xué)位，負(fù)責(zé)AI/ML技術(shù)在恩智浦的MCU及MPU上的應(yīng)用開(kāi)發(fā)，曾帶領(lǐng)團(tuán)隊(duì)獨(dú)立研發(fā)并發(fā)布了全球第一款基于MCU RT106F的低功耗、低成本的人臉識(shí)別方案，基于雙目活體算法的方案廣泛應(yīng)用于門鎖及門禁等產(chǎn)品。他帶領(lǐng)團(tuán)隊(duì)獨(dú)立研發(fā)的Nano.AI工具鏈，能快速準(zhǔn)確地將客戶的算法模型從MPU平臺(tái)部署到MCU平臺(tái)，達(dá)到降功耗和降成本的目的。就MCU部署AI應(yīng)用的痛點(diǎn)、現(xiàn)有AI開(kāi)源工具鏈的局限性、恩智浦打磨軟件工具的經(jīng)驗(yàn)與解法等話題，我們與秦建峰進(jìn)行了深入交流。

AI跑在MCU上，存在哪些技術(shù)挑戰(zhàn)和痛點(diǎn)？

在物聯(lián)網(wǎng)與AI交匯之處，技術(shù)創(chuàng)新的火苗正逾燃逾旺，從芯片大廠到創(chuàng)業(yè)公司都在積極涌入嵌入式AI新浪潮，恩智浦正是其中的代表玩家之一。在理解物聯(lián)網(wǎng)客戶需求方面，很少有公司能有像恩智浦這樣的深度和廣度。一方面，它是MCU（微控制單元）、應(yīng)用處理器領(lǐng)域的資深玩家；另一方面，它的物聯(lián)網(wǎng)布局還覆蓋到各種無(wú)線連接產(chǎn)品、安全功能芯片、超寬帶（UWB）芯片及相應(yīng)軟件和方案。從與客戶的交流中，秦建鋒發(fā)現(xiàn)恩智浦的物聯(lián)網(wǎng)客戶有一些共性需求，除了關(guān)注成本外，也越來(lái)越看重MCU的算力、豐富的AI功能，以及尋求產(chǎn)品的差異化。MCU在低功耗、低成本的物聯(lián)網(wǎng)應(yīng)用中落地廣泛，比如智能門鎖、基于電池的手持端設(shè)備，它們不像安防監(jiān)控設(shè)備需要高分辨率、快響應(yīng)速度，更在乎是否足夠便宜、耐用性好。相比初創(chuàng)公司，恩智浦手中握著沉甸甸的數(shù)十年MCU產(chǎn)品經(jīng)驗(yàn)，這是它獨(dú)有的技術(shù)財(cái)富。除了持續(xù)加固自身技術(shù)壁壘外，恩智浦也在思考著怎么解決客戶最棘手的問(wèn)題。不過(guò)，當(dāng)AI應(yīng)用逐漸遍及MCU領(lǐng)域，新的挑戰(zhàn)開(kāi)始出現(xiàn)。第一道難關(guān)即是硬件算力的受限和運(yùn)行內(nèi)存空間大小的挑戰(zhàn)。囿于低功耗、低成本，有些中低端MCU不支持外擴(kuò)SDRAM，僅支持內(nèi)部幾百KB的SRAM和受限到幾十兆空間的Flash。大部分廠商的AP處理器采用基于Arm Cortex-A系列的多核、高主頻CPU，對(duì)于浮點(diǎn)數(shù)跟定點(diǎn)數(shù)的處理能力都非常強(qiáng)，功耗和成本也相對(duì)偏高。功耗和成本較低的MCU則往往是單核的，主頻幾百M(fèi)Hz，恩智浦目前主流的是600MHz，1GHz剛剛推出，即便這樣，Arm Cortex-M MCU處理器面向低功耗設(shè)計(jì)，對(duì)于浮點(diǎn)數(shù)的處理能力較弱。這些MCU需要設(shè)計(jì)輕量化的模型，并進(jìn)行一些量化、裁剪、融合等優(yōu)化操作。這就帶來(lái)第二個(gè)難關(guān)——目前MCU轉(zhuǎn)化及量化缺乏成熟且統(tǒng)一的標(biāo)準(zhǔn)。如果廠商可以針對(duì)MCU的特點(diǎn)開(kāi)發(fā)一些好工具鏈，就能在MCU上得到相應(yīng)非常好的性能。而關(guān)鍵的難題在于，盡管各開(kāi)源大廠對(duì)自身的訓(xùn)練框架、引擎級(jí)模型支持較好，但對(duì)于一些相對(duì)復(fù)雜或特殊的模型，大概率無(wú)法成功地轉(zhuǎn)化，或者是看似成功，實(shí)際上精度丟失比較嚴(yán)重。有些推理引擎為了實(shí)現(xiàn)跨平臺(tái)和兼容性，一定程度上犧牲了性能；有些開(kāi)源推理引擎因追求大而全，致使體量過(guò)于龐大，內(nèi)存空間浪費(fèi)嚴(yán)重。如果客戶并未深度掌握AI機(jī)器學(xué)習(xí)技術(shù)，一旦工具鏈出問(wèn)題，就無(wú)法繼續(xù)在MCU上部署AI模型。因此，開(kāi)源工具鏈?zhǔn)且环N選擇，但存在很大的技術(shù)風(fēng)險(xiǎn)和不確定性。這也是恩智浦嗅到機(jī)會(huì)的地方——針對(duì)AI在MCU上的部署，客戶需要依賴一些商用工具的支持。
AI工具鏈已打磨三年降低MCU部署AI門檻

從2018年底啟動(dòng)研發(fā)至今，恩智浦的Nano.AI工具鏈已經(jīng)打磨了將近三年，目前已到試用階段。傳統(tǒng)AI機(jī)器學(xué)習(xí)模型如果直接在MCU上運(yùn)行，運(yùn)行效率非常低，可能與優(yōu)化后的性能大概相差10倍以上。因此這些模型需要通過(guò)開(kāi)源工具鏈或是廠商自己開(kāi)發(fā)的工具鏈來(lái)做轉(zhuǎn)換。借助AI工具鏈，客戶無(wú)需在原始AI模型轉(zhuǎn)換方面做過(guò)多投入，即便缺乏應(yīng)用經(jīng)驗(yàn)，也能比較省力地將其原始算法模型轉(zhuǎn)換成在MCU上能直接使用的算法庫(kù)。在MPU領(lǐng)域，開(kāi)源標(biāo)準(zhǔn)已經(jīng)發(fā)展的相對(duì)成熟，支持范圍較廣，出現(xiàn)問(wèn)題的可能性較低。但在MCU領(lǐng)域，還沒(méi)出現(xiàn)一款足夠成熟好用的AI工具鏈。發(fā)現(xiàn)這一空白后，恩智浦決定綜合各類方案的優(yōu)缺點(diǎn)，打造一個(gè)適用于MCU的AI工具鏈，起名為Nano.AI工具鏈，并基于自研工具開(kāi)發(fā)出一些完整解決方案，交予客戶商用。

恩智浦的AI工具鏈主要包含兩部分，一部分是將原始算法模型轉(zhuǎn)換成MCU上能夠快速運(yùn)行的數(shù)據(jù)和庫(kù)，另一部分包含一個(gè)輕量級(jí)推理引擎，能做出一個(gè)能跑在MCU上、只需幾兆Flash甚至幾兆SDRAM的方案。同時(shí)，恩智浦也可以將具體的優(yōu)化措施反饋給客戶，包括從算法、算法、模型本身和源頭上如何做優(yōu)化從而實(shí)現(xiàn)一個(gè)更適合在MCU上跑的算法模型。這需要一個(gè)相互支持的合作模式。要做出這樣一套AI工具鏈，首先MCU技術(shù)團(tuán)隊(duì)需對(duì)自家產(chǎn)品的架構(gòu)優(yōu)勢(shì)等各方面有深入了解。比如，恩智浦之所以能在MCU上實(shí)現(xiàn)很多視覺(jué)與語(yǔ)音AI應(yīng)用，是因?yàn)槎髦瞧謱?duì)自身在總線架構(gòu)設(shè)計(jì)上的優(yōu)勢(shì)有信心，像大尺寸cache、大TCM內(nèi)存，天然就能在MCU上得到很好的AI性能。另外，一些終端方案的大廠會(huì)推出自家的工具鏈、算法，但它們主要是服務(wù)于自身，同時(shí)在對(duì)MCU的理解深度方面通常不如芯片廠商。相對(duì)而言，恩智浦不是AI軟件公司，而是一家芯片供應(yīng)商，天然就有幫助客戶解決技術(shù)壁壘的意愿，會(huì)通過(guò)合作幫助客戶解決基于MCU的AI方案的種種技術(shù)壁壘。
恩智浦IoT半導(dǎo)體的競(jìng)爭(zhēng)力：深入客戶、車規(guī)標(biāo)準(zhǔn)、供貨穩(wěn)定、交鑰匙方案

AI工具鏈只是恩智浦強(qiáng)化其IoT半導(dǎo)體業(yè)務(wù)實(shí)力的一個(gè)能力分支。在交流過(guò)程中，秦建峰總結(jié)了恩智浦IoT半導(dǎo)體方案的4項(xiàng)競(jìng)爭(zhēng)力。第一，恩智浦有幾十年的微控制器和應(yīng)用處理器的產(chǎn)品經(jīng)驗(yàn)，在芯片架構(gòu)積累了一些獨(dú)到的能力，并對(duì)客戶應(yīng)用有深入理解，能從廣泛的客戶群中挖掘出很多共性的需求。第二，作為一個(gè)領(lǐng)先的汽車芯片供應(yīng)商，恩智浦在非汽車芯片的很多設(shè)計(jì)也遵循車規(guī)的要求，因此產(chǎn)品質(zhì)量本身過(guò)硬。第三，恩智浦堅(jiān)持長(zhǎng)期供貨，在芯片設(shè)計(jì)界有優(yōu)良口碑，能幫客戶降低很多風(fēng)險(xiǎn)。第四，恩智浦長(zhǎng)期大量投入軟件和方案，像秦建峰所在的解決方案部門一直幫助客戶基于恩智浦的芯片、算法及工具鏈做交鑰匙方案，進(jìn)而降低方案開(kāi)發(fā)門檻、減少研發(fā)投入，并能及時(shí)支持一些定制化需求，使客戶的方案快速投入到市場(chǎng)。例如，恩智浦近兩年已成功推出基于MCU的亞馬遜Alexa方案，其中包含多類算法。如果沒(méi)有像恩智浦這樣廠商去牽頭去做，普通客戶很難得到亞馬遜的認(rèn)證。恩智浦把整個(gè)交鑰匙方案做好之后，客戶就能快速出產(chǎn)品。
下一代MCU將集成更豐富的AI特性

在秦建峰看來(lái)，要衡量一個(gè)IoT芯片產(chǎn)品的優(yōu)劣，首先要找到整體成本和性能表現(xiàn)的一個(gè)最佳平衡點(diǎn)，除此以外，還有幾點(diǎn)還需要綜合考慮：一是整體的功耗和方案的可擴(kuò)展性，二是否引入了太多的第三方，導(dǎo)致開(kāi)發(fā)進(jìn)度、靈活度受到限制，三是有沒(méi)有一個(gè)長(zhǎng)期路線圖，能確保方案設(shè)計(jì)存在延續(xù)性，可以持續(xù)地迭代更新。目前，恩智浦正在規(guī)劃的下一代MCU和AP平臺(tái)，將集成更豐富的AI功能和無(wú)線連接特性，并基于這些芯片路線圖推出更多交鑰匙解決方案，進(jìn)一步覆蓋語(yǔ)音和視覺(jué)AI的一些高性價(jià)比應(yīng)用方案。談及后續(xù)計(jì)劃，他透露說(shuō)，恩智浦會(huì)在邊緣設(shè)備的AI方面持續(xù)投入，包括帶有神經(jīng)網(wǎng)絡(luò)加速器的全系列微控制器和應(yīng)用處理器、完整的機(jī)器學(xué)習(xí)工具鏈，以及基于機(jī)器的視覺(jué)、聽(tīng)覺(jué)和健康運(yùn)動(dòng)數(shù)據(jù)分析處理等各種AI解決方案。在MCU上運(yùn)行視覺(jué)AI方面，恩智浦已推出基于MCU的語(yǔ)音及人臉識(shí)別的一系列完整方案，后續(xù)還將推出更多的姿態(tài)識(shí)別、手勢(shì)識(shí)別等方案。
結(jié)語(yǔ)：AIoT的核心挑戰(zhàn)：找到AI殺手級(jí)應(yīng)用

長(zhǎng)期來(lái)看，如果谷歌、Arm等各大軟硬件廠商持續(xù)合作，應(yīng)該能慢慢形成一些基于MCU的標(biāo)準(zhǔn)，并隨著時(shí)間的積淀而做得越來(lái)越完備?！昂芏嗫蛻羧孕枰蕾囎罱K的芯片廠商，來(lái)得到一個(gè)最優(yōu)化的MCU部署AI的工具鏈支持。”秦建峰說(shuō)。在他看來(lái)，AIoT芯片領(lǐng)域仍將面臨的挑戰(zhàn)是真正找到AI機(jī)器學(xué)習(xí)的殺手級(jí)應(yīng)用，光有技術(shù)是不夠的，最終要跟客戶需求相匹配，找到一些共性的應(yīng)用來(lái)持續(xù)推動(dòng)技術(shù)前進(jìn)。在5月25日（下周二）舉辦的GTIC 2021嵌入式AI創(chuàng)新峰會(huì)上，秦建峰將帶來(lái)圍繞MCU部署AI應(yīng)用的主要痛點(diǎn)、如何提升MCU邊緣端AI運(yùn)算性能和精度等方面的分享，并對(duì)恩智浦Nano.AI工具鏈系統(tǒng)框架設(shè)計(jì)做更詳細(xì)地解讀。