CEVA：助力從移動(dòng)設(shè)備到汽車應(yīng)用生成式人工智能的部署

Ceva市場(chǎng)資訊副總裁Richard Kingston

與目前基于云的傳統(tǒng)人工智能相比，邊緣智能將有許多更小、功耗更低的用例。邊緣智能的范圍非常廣泛，從在MCU和小型NPU上運(yùn)行的非常小的神經(jīng)網(wǎng)絡(luò)（如TinyML），適用于語音、視覺、傳感等多種應(yīng)用，一直擴(kuò)展到在智能手機(jī)上運(yùn)行的生成式人工智能和完全自動(dòng)駕駛汽車。由于在設(shè)備上運(yùn)行人工智能成本更低，無需將數(shù)據(jù)發(fā)送到云端，因此邊緣智能擁有廣闊的未來發(fā)展前景。將人工智能引入許多行業(yè)都極具吸引力，尤其是智能手表、耳塞、智能手機(jī)、相機(jī)等消費(fèi)類設(shè)備，以及預(yù)測(cè)性維護(hù)、工廠自動(dòng)化、個(gè)人電腦、電視、汽車等工業(yè)領(lǐng)域。Ceva市場(chǎng)資訊副總裁Richard Kingston坦言，未來幾乎所有行業(yè)都會(huì)采用人工智能。隨著處理架構(gòu)的改進(jìn)和優(yōu)化網(wǎng)絡(luò)的軟件的完善，未來大部分推理操作都將在邊緣設(shè)備上進(jìn)行。

生成式人工智能要求NPU 等處理器能夠運(yùn)行transformer、全連接（FC）、FC 批處理、RNN、3D 卷積等新網(wǎng)絡(luò)。現(xiàn)有的人工智能處理器解決方案無法支持這些生成式人工智能網(wǎng)絡(luò)。它們還需要具有靈活性，以支持新的層級(jí)和網(wǎng)絡(luò)，而不僅僅是在硬件中提供所有的網(wǎng)絡(luò)支持。因此，這是邊緣人工智能行業(yè)的拐點(diǎn)。生成式人工智能將用于邊緣設(shè)備，生成與語音、聲音和圖像相關(guān)的用例和應(yīng)用。Ceva市場(chǎng)資訊副總裁Richard Kingston介紹，邊緣人工智能需要新的 NPU 架構(gòu)，如上所述，因?yàn)獒槍?duì)普通人工智能的NPU、DSP、GPU等無法支持生成式人工智能。此外，編譯和縮減網(wǎng)絡(luò)以在邊緣設(shè)備上運(yùn)行的軟件必須具備很強(qiáng)的能力，能夠以盡可能小的網(wǎng)絡(luò)提供全部性能，以節(jié)省內(nèi)存資源。為此，CEVA在市場(chǎng)上推出了生成式人工智能NPU IP產(chǎn)品Ceva-NeuPro-M，它采用了可擴(kuò)展的架構(gòu)，可以滿足移動(dòng)設(shè)備對(duì)生成式人工智能的任何需求，而且功耗極低、效率極高。Ceva生成式人工智能NPU架構(gòu)方法的一個(gè)優(yōu)勢(shì)是包含一個(gè)矢量引擎，即使移動(dòng)處理器已安裝在設(shè)備中，仍可升級(jí)NPU 以支持新網(wǎng)絡(luò)。Ceva-NeuPro-M可從32 TOPS擴(kuò)展到256 TOPS，因此非常適合用于從移動(dòng)設(shè)備到汽車等使用案例中的生成式人工智能。Ceva-NeuPro-M重新定義了智能邊緣設(shè)備和邊緣計(jì)算的高性能人工智能（AI）處理，具有異構(gòu)協(xié)同處理功能，主要針對(duì)生成式和經(jīng)典人工智能推理工作負(fù)載。Ceva-NeuPro-M采用異構(gòu)協(xié)處理器，首先在每個(gè)內(nèi)部處理引擎內(nèi)，其次在引擎之間進(jìn)行復(fù)合并行處理，從而實(shí)現(xiàn)了性能上的重大飛躍。

對(duì)于Ceva來說，NPU是包括矢量和NPU的異構(gòu)處理器，以獲得最高性能和支持未來的靈活性。此外，您還可以添加一個(gè)DSP處理器來處理傳統(tǒng)的視覺、聲音和傳感算法。還可以添加Arm或RISC-V處理器來運(yùn)行RTOS，但這并非必要。除了這些硬件IP外，Richard Kingston介紹Ceva還提供了完整的軟件Studio，即Ceva-NeuPro Studio。這是一項(xiàng)全面的人工智能編譯器技術(shù)，可為Ceva-NeuPro-M NPU IP架構(gòu)創(chuàng)建全面優(yōu)化的運(yùn)行時(shí)軟件。Ceva-NeuPro Studio面向大眾市場(chǎng)的嵌入式設(shè)備，將廣泛的網(wǎng)絡(luò)優(yōu)化、先進(jìn)的量化算法、數(shù)據(jù)流管理和全面優(yōu)化的計(jì)算CNN和RNN庫整合到一個(gè)整體解決方案中，從而能夠?qū)⒃朴?xùn)練的人工智能模型部署到邊緣設(shè)備上進(jìn)行推理處理。

隨著邊緣智能的普及，Richard Kingston表示，Ceva將提供一整套處理器來處理MCU用例的最小網(wǎng)絡(luò)和應(yīng)用，直到極高性能的自動(dòng)駕駛汽車，所有處理都將在邊緣高能效地完成。這就是Ceva-NeuPro系列的戰(zhàn)略。我們還提供藍(lán)牙、Wi-Fi、UWB、蜂窩5G等所有連接IP，用于連接這些智能設(shè)備以及DSP和應(yīng)用軟件，使得這些設(shè)備能夠感知周圍環(huán)境。Ceva的愿景是促使任何邊緣設(shè)備都能連接、感知和推斷。

（本文來源于《EEPW》2024.5）