Arm：致力于成為邊緣AI發(fā)展與創(chuàng)新的堅(jiān)實(shí)基石

邊緣智能是人工智能的一種部署形式，無論中央人工智能，還是邊緣智能，都需要算力支撐。而集中和分布式計(jì)算呈現(xiàn)出相互促進(jìn)和交替發(fā)展的趨勢。作為移動(dòng)處理器領(lǐng)域市場的引領(lǐng)者，Arm 的各類處理器內(nèi)核在邊緣端的MCU、NPU 和MPU 等領(lǐng)域引領(lǐng)著技術(shù)發(fā)展的未來。

Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁 馬健

談到邊緣智能，Arm 物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健表示，伴隨著Transformer與大模型的發(fā)展，AI模型的普適性、多模態(tài)支持，以及模型微調(diào)效率都有了質(zhì)的突破，加上低功耗的AI 加速器和專用芯片被集成到終端和邊緣設(shè)備中，邊緣智能正變得越來越自主和強(qiáng)大。未來自動(dòng)駕駛與機(jī)器人的大規(guī)模部署，更需要邊緣智能的強(qiáng)大支撐。隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的不斷進(jìn)步和底層平臺(tái)的支持，視覺和音頻處理技術(shù)等經(jīng)典用例將會(huì)不斷優(yōu)化，從而實(shí)現(xiàn)性能上的飛躍，為用戶提供更好的體驗(yàn)。

除此之外，邊緣AI也將隨著大模型和生成式AI的崛起，用戶體驗(yàn)的持續(xù)提升，數(shù)據(jù)量激增以及企業(yè)對數(shù)據(jù)價(jià)值的認(rèn)可，成為行業(yè)變革的主要?jiǎng)恿?，例如特定工業(yè)場景中對種類繁雜的問題進(jìn)行工業(yè)知識回答等。隨著大模型持續(xù)通過量化、剪枝和聚類技術(shù)來縮減優(yōu)化模型，使大模型適于在邊緣和超級終端設(shè)備部署，大小模型云邊端結(jié)合成為未來AI 產(chǎn)品的重要發(fā)展趨勢，也是AI應(yīng)用賦能行業(yè)發(fā)展的重要方向。例如，我們已經(jīng)看到生態(tài)系統(tǒng)中的開發(fā)者在樹莓派設(shè)備上評估運(yùn)行包括LLaMA等在內(nèi)的大模型。邊緣部署大模型和生成式AI用例指日可待，而Arm已經(jīng)為此做好準(zhǔn)備，來挑戰(zhàn)物聯(lián)網(wǎng)與大模型、多模態(tài)AI 結(jié)合的性能與效率極限。

與此同時(shí)，隨著ML 方法和模型愈加復(fù)雜，標(biāo)準(zhǔn)也在不斷提高，在不久的將來，諸如ChatGPT 或Gemini的多種衍生產(chǎn)品將在邊緣AI 設(shè)備上運(yùn)行，通過實(shí)際應(yīng)用帶來更多益處。

邊緣智能對算力和功耗要求都更為苛刻。在產(chǎn)品設(shè)計(jì)中實(shí)現(xiàn)低功耗設(shè)計(jì)是Arm 與生俱來的DNA，能幫助廣大的合作伙伴降低能耗和成本。馬健直言，Arm一貫秉承構(gòu)建通用計(jì)算平臺(tái)和生態(tài)的策略，不僅平衡性能與能效，更將軟件的可擴(kuò)展性和系統(tǒng)應(yīng)用的開發(fā)成本作為一個(gè)關(guān)鍵的考量因素，進(jìn)而助力生態(tài)系統(tǒng)合作伙伴實(shí)現(xiàn)最低的總擁有成本 (TCO)。

在邊緣側(cè)的物聯(lián)網(wǎng)領(lǐng)域，Arm擁有非常成熟的處理器IP，比如適用于MCU和一些低功耗終端嵌入式設(shè)備的Cortex-M系列處理器，Arm也通過優(yōu)化工具鏈以及增加對AI和ML的支持，不斷對其進(jìn)行優(yōu)化。例如，Arm最新的Armv8.1-M架構(gòu)就增加了Helium矢量擴(kuò)展。

目前Cortex-M52、Cortex-M55和Cortex-M85均引入了Helium技術(shù)，由此助力嵌入式和IoT 開發(fā)者設(shè)計(jì)出更多支持ML和AI的低功耗芯片和解決方案。

芯片面積和成本對于嵌入式及物聯(lián)網(wǎng)視覺應(yīng)用至關(guān)重要，為實(shí)現(xiàn)視覺用例高性能低功耗的持續(xù)性發(fā)展，Arm推出的Mali-C55是Arm目前面積最小、可配置性最高的圖像信號處理器。Mali-C55 的芯片面積僅為前幾代產(chǎn)品的近一半，并且可提供更強(qiáng)大的功能，大幅減少功耗并延長電池續(xù)航時(shí)間，與此同時(shí)，還降低了這些設(shè)備的成本。

在NPU方面，ArmEthos系列AI加速器可以滿足更高性能和更復(fù)雜的AI工作負(fù)載。近日，Arm推出了全新第三代面向邊緣AI的NPU產(chǎn)品Arm Ethos-U85 NPU，支持低功耗MCU系統(tǒng)中的AI加速；此外，為了幫助合作伙伴簡化系統(tǒng)開發(fā)，Arm同時(shí)推出了全新的物聯(lián)網(wǎng)參考設(shè)計(jì)平臺(tái)Arm Corstone-320，集成了Arm最高性能的Cortex-M CPU——Cortex-M85、Mali-C55 ISP 和 Ethos-U85 NPU，為語音、音頻和視覺等廣泛的邊緣AI應(yīng)用提供所需的性能。該參考設(shè)計(jì)平臺(tái)涵蓋了軟件、工具和支持，其中包括Arm虛擬硬件。該平臺(tái)的軟硬件結(jié)合特性將使開發(fā)者能夠在物理芯片就緒前便啟動(dòng)軟件開發(fā)工作，從而加速推進(jìn)產(chǎn)品進(jìn)程，為日益復(fù)雜的邊緣AI設(shè)備縮短上市時(shí)間。

無論是IP、ISP、AI加速器亦或是物聯(lián)網(wǎng)參考設(shè)計(jì)平臺(tái)的推出，在面積和功率受限的邊緣側(cè)應(yīng)用中如何實(shí)現(xiàn)最佳性能和功耗的平衡，是Arm始終關(guān)注的焦點(diǎn)，也是不斷突破技術(shù)，推動(dòng)邊緣AI創(chuàng)新的初衷。

相較于在云端進(jìn)行數(shù)據(jù)處理而言，邊緣智能在更接近數(shù)據(jù)采集源的端側(cè)或邊緣側(cè)物聯(lián)網(wǎng)網(wǎng)關(guān)完成數(shù)據(jù)處理的方式，可以加快決策速度、減少延遲、解決數(shù)據(jù)隱私問題、降低成本并提高能效，而且隨著AI和ML提升本地智能化水平，在端側(cè)完成決策的制定也得以實(shí)現(xiàn)。在設(shè)計(jì)邊緣AI芯片和系統(tǒng)時(shí)，需要在計(jì)算能力和能效之間找到合適的平衡。高性能的處理能力往往伴隨著更高的功耗，而邊緣設(shè)備往往對功耗和成本都有著嚴(yán)格限制。

Arm此前發(fā)布的多種物聯(lián)網(wǎng)參考設(shè)計(jì)包括Corstone-300、Corstone-310、Corstone-1000，及Arm智能視覺參考設(shè)計(jì)等，這些參考設(shè)計(jì)不僅包括了Arm或集成了合作伙伴IP的子系統(tǒng)，還提供工具鏈，尤其是一些ML的工具鏈。每一個(gè)參考設(shè)計(jì)都依據(jù)一些現(xiàn)有的用例進(jìn)行設(shè)計(jì)，在支持這些用例的時(shí)候Arm也提供了一些軟件參考設(shè)計(jì)和適用于這些用例的AI模型，都通過開源的模式提供給生態(tài)系統(tǒng)以及參考設(shè)計(jì)的用戶。最新發(fā)布的Corstone-320不僅提供芯片計(jì)算子系統(tǒng)IP組合，還附帶了軟件、AI模型庫和開發(fā)工具，以實(shí)現(xiàn)軟件的復(fù)用，同時(shí)也利用了Arm強(qiáng)大的生態(tài)系統(tǒng)。它還附帶了仿真Corstone-320完整系統(tǒng)的Arm虛擬硬件，以及單獨(dú)的CPU和NPU的固定虛擬平臺(tái)(FVP)模型，以簡化開發(fā)并加速產(chǎn)品設(shè)計(jì)，支持軟硬件并行協(xié)同開發(fā)。這種提供邊緣AI和智能物聯(lián)網(wǎng)計(jì)算子系統(tǒng)全套軟硬件和工具鏈的方法，使得合作伙伴能夠在一系列性能點(diǎn)上快速開發(fā)，并聚焦于打造差異化價(jià)值。

此外，ArmEthosNPU在軟件工具鏈的一致性、易用性方面都有非常強(qiáng)大的優(yōu)勢。Arm生態(tài)系統(tǒng)合作伙伴們在使用最新的Ethos-U85時(shí)，可沿用之前Ethos的一系列工具鏈，例如Vela Compiler以及ML EvaluationKit都可從此前推出的Ethos-U55和Ethos-U65延展到Ethos-U85上，為開發(fā)者提供一致性的無縫開發(fā)體驗(yàn)。

在這里，馬健著重強(qiáng)調(diào)Arm虛擬硬件對部署邊緣智能的助力作用。在云端進(jìn)行AI開發(fā)時(shí)，相對來講，資源極其豐富，并且可以實(shí)現(xiàn)彈性擴(kuò)展，所以開發(fā)者們不用擔(dān)心AI應(yīng)用程序在云端跑不起來。但是如果把AI應(yīng)用部署在邊緣側(cè)或端側(cè)，就會(huì)面臨硬件設(shè)備五花八門，外設(shè)和內(nèi)存配置不統(tǒng)一等諸多問題，但開發(fā)者又不可能買來所有配置的芯片和開發(fā)板進(jìn)行測試。在這種情況下，使用基于Arm虛擬硬件對計(jì)算子系統(tǒng)或芯片開發(fā)板的仿真平臺(tái)，可以迅速便捷地實(shí)現(xiàn)模型與目標(biāo)硬件的適配。

Arm虛擬硬件已經(jīng)在本土的百度智能云上落地，并且在國內(nèi)的開發(fā)者社區(qū)中也正在進(jìn)行基于Arm虛擬硬件的AI開發(fā)體驗(yàn)創(chuàng)造營，歡迎志同道合的開發(fā)小伙伴一起加入。

在算力分配方面，不論是將AI的處理全權(quán)交給CPU，或是結(jié)合GPU或NPU等協(xié)同處理器一起提供支持，馬健很直接的表示，邊緣AI 的發(fā)展趨勢都與CPU相關(guān)。應(yīng)邊緣AI和嵌入式AI的市場需求，Arm推出了業(yè)界首款A(yù)I微加速器Ethos-U NPU， 包括Ethos-U55、Ethos-U65，以及最新發(fā)布的Ethos-U85。AI技術(shù)發(fā)展迅速，新模型、新算子還在不斷涌現(xiàn)，而NPU AI加速器無法完全保證支持所有AI應(yīng)用需要的算子。在這時(shí)CPU 是一個(gè)完美的補(bǔ)充，使應(yīng)用得以持續(xù)運(yùn)行。而引入Helium 矢量擴(kuò)展甚至是矩陣拓展的Arm Cortex-A應(yīng)用處理器和Cortex-M嵌入式處理器更需要在CPU處理器上實(shí)現(xiàn)高效的執(zhí)行。

展望未來，AI正處于非常迅速的發(fā)展初期，尤其是邊緣AI。Arm將持續(xù)通過強(qiáng)大的產(chǎn)品組合，對新的Transformer模型提供原生的支持，對工具鏈保持一致、易用的特性，幫助整個(gè)物聯(lián)網(wǎng)生態(tài)更容易實(shí)現(xiàn)AI和ML的轉(zhuǎn)型。在幫助生態(tài)減少碎片化方面，Arm作為一個(gè)領(lǐng)先的基礎(chǔ)計(jì)算平臺(tái)，始終聚焦軟件生態(tài)標(biāo)準(zhǔn)以及硬件標(biāo)準(zhǔn)的投入。例如，SystemReady標(biāo)準(zhǔn)的建立就是實(shí)現(xiàn)在不同的、有差異化的Arm計(jì)算平臺(tái)和芯片平臺(tái)上，實(shí)現(xiàn)標(biāo)準(zhǔn)的軟件包，比如Linux Ubuntu標(biāo)準(zhǔn)軟件包和Yocto等其他軟件包，無需改變就能運(yùn)行在不同的Arm計(jì)算平臺(tái)上。

在中國本土市場，Arm和百度飛槳 (PaddlePaddle)這一主流的AI框架也做了和Arm生態(tài)鏈、工具鏈的整合，所有這些努力都是使生態(tài)能夠更加統(tǒng)一，使技術(shù)能夠更加標(biāo)準(zhǔn)化，最終目的是使 AI 和軟件開發(fā)者能夠更便利地基于Arm架構(gòu)、從云、邊、端打造統(tǒng)一的計(jì)算平臺(tái)，迅速地開發(fā)出所期望的新應(yīng)用。

基于此，馬健坦言，Arm 將成為未來邊緣 AI 發(fā)展與創(chuàng)新的堅(jiān)實(shí)基石。

（本文來源于《EEPW》2024.5）