多處理引擎的異構系統(tǒng)引領邊緣AI高效部署

在過去的兩年里，邊緣人工智能（Edge AI）實現了加速發(fā)展，這主要得益于小型化神經網絡架構的進步，從而可以在微控制器級（MCU）的器件上實現高精度。這增加了邊緣AI 應用和設備的數量，這些應用和設備可以通過這項技術以較低的成本實現。這方面的一個示例就是關鍵字識別，它已經成為智能家居設備交互的標準方式。

邊緣AI 可以體現為多種形態(tài)，從非常小型的、低功耗的推理引擎，到高功耗的、具有特定功能的、與基站或智慧城市視頻監(jiān)控等數據源同處一方的大型方案。在這些更大型的裝置中，異構架構（即針對特定任務的專業(yè)加速器）正在提高效率，通過減少設計復雜性來降低功耗。Imagination Technologies 公司的圖形處理器（GPU）、AI 加速器和即將推出的RISC-V 中央處理器（CPU）的IP 產品組合，將為這些邊緣AI 應用提供全新的功能。

許多用于邊緣AI 應用的系統(tǒng)級芯片（SoC）將包含許多不同的處理引擎，這些引擎能夠高效地劃分和卸載工作負載。分離工作負載還有一個好處，就是可以使用不同的加速器并行執(zhí)行多項任務，從而實現高效的多任務處理性能。這種多處理引擎的異構系統(tǒng)旨在提供不同的計算架構來有效地執(zhí)行整個系統(tǒng)所需的特定任務。用于現代個人電腦（PC）中的GPU 就是一個很好的示例，它們使用一種高度并行的計算架構，從而可以更高效地進行圖形處理，并支持主機CPU 將該任務“卸載”到更高效的引擎上。在開發(fā)邊緣AI 系統(tǒng)時，這一原則也同樣適用。

邊緣AI 要求在保持或提高計算性能的同時降低功耗，這一壓力始終存在。伴隨著異構架構的使用和處理器技術的優(yōu)化，機器學習算法的進步也為提高能效提供了途徑，同時也提高了計算性能。二進制神經網絡（BNN）的引入就是一個示例。BNN 試圖通過將網絡權重和激活量化到單個比特來實現更高的效率，從而減少內存需求和計算單元的大小。

實現最低功耗推理系統(tǒng)的一種策略是在各種低功耗模式下運行，這些模式可以逐級推理出周圍的環(huán)境情況。例如，一只帶有語音控制功能的智能手表可能具有三個功耗級別：0、1 和2。在0 級功耗模式（即最低功耗模式）下，手表無法執(zhí)行明顯的推理功能，因此只能監(jiān)聽可能預示即將發(fā)生活動的高環(huán)境噪聲。

當監(jiān)聽到出現明顯的活動時，手表將切換到模式1。模式1 會消耗更多的電量，但仍不能完全滿負荷運行。這種模式支持手表監(jiān)聽一個關鍵字，然后觸發(fā)最終模式，即模式2，該模式將使用捕獲到的音頻來推理和執(zhí)行命令。使用這種逐級增加電能消耗的方法，每次都會增加對周圍環(huán)境的推理，支持系統(tǒng)管理電能，以便只有在高度確信是必要的情況下才增加電能消耗。

機器學習和人工智能的發(fā)展正在推動全球的創(chuàng)新和發(fā)展。中國作為人工智能發(fā)展和應用超前的重要市場，為經驗豐富的機器學習工程師提供了與來自世界各地的產品開發(fā)和工程團隊合作的機會，從而獲得開展全球性業(yè)務的經驗。

（本文來源于《電子產品世界》雜志2022年4月期）