未來無所不在的AI架構(gòu)導向邊緣和云端 逐步走向統(tǒng)一與可擴展

AI/ML訓練開發(fā)出供推論使用的模型，用于識別任何需要辨識的對象。這些對象可以是智能城市街道上順暢或擁擠的交通、用于實現(xiàn)安全訪問控制的身份證件和人臉比對的許可級別、向客服中心撥打電話的對話內(nèi)容，抑或是郵政分發(fā)中心中信封上的手寫地址。

訓練通常在企業(yè)數(shù)據(jù)中心或云端進行，這些環(huán)境中有眾多高效能服務(wù)器、充裕的內(nèi)存、硬件加速器和高速網(wǎng)絡(luò)可以投入工作負載。在這種環(huán)境下，需快速完成工作的訓練使用大量供給運算、網(wǎng)絡(luò)鏈接和冷卻的電力。盡管推論工作負載也能在數(shù)據(jù)中心或云端執(zhí)行，但由于多種原因，越來越多推論任務(wù)正遷移至邊緣。

首先是延遲問題。將原始數(shù)據(jù)發(fā)送到云端或數(shù)據(jù)中心耗用時間，因此需要更長的時間來執(zhí)行推論，而且將想要的答案或決策發(fā)送至邊緣的時間也會增加。以工廠自動化、雷達、電子作戰(zhàn)等實時任務(wù)來說，費時過長的決策會導致高昂成本。

將推論工作負載遷移到邊緣還有另外兩個原因：運算力和電力。隨著AI/ML推論工作負載遷移到大量的邊緣裝置，這些邊緣裝置中的數(shù)百萬個推論引擎總運算力將超越數(shù)據(jù)中心服務(wù)器的運算力。另外，邊緣推論引擎并不會消耗大量電力。

為解決邊緣推論的獨特需求，采用全新運算架構(gòu)的芯片將于近期問世。制造商強調(diào)，他們的組件能以更低的功耗達到頗高的TFLOPS和TOPS運算次數(shù)。盡管推論工作負載需要充裕的TFLOPS和TOPS是不爭的事實，但這些專用邊緣推論芯片基于單向架構(gòu)理念，一旦考慮互相結(jié)合訓練與推論工作負載，即有可能證明這種架構(gòu)不堪使用。

當前，AI/ML模型訓練工作負載主要在數(shù)據(jù)中心內(nèi)的高功耗CPU和GPU上執(zhí)行，它們在此消耗大量電力，同時利用先進的冷卻技術(shù)來執(zhí)行訓練AI/ML模型所需的數(shù)萬億次運算。這種訓練幾乎普遍采用具備高動態(tài)范圍的浮點信息格式，透過允許對模型權(quán)重進行微小的增量調(diào)整來實現(xiàn)最高模型精度。浮點運算耗電更多，因而需要額外的冷卻。此外，CPU和GPU在內(nèi)存和其內(nèi)部運算單元之間遷移大型訓練數(shù)據(jù)集時也會消耗大量電力。

如果要使用全精度浮點信息格式完成全部運算，大多數(shù)邊緣推論芯片難以負擔如此的硅或功耗。很多公司為了獲得高峰值TFLOPS和TOPS指標而做出妥協(xié)，通常的做法是以精度略低的數(shù)據(jù)類型代表AI/ML權(quán)重、啟動和資料。邊緣AI/ML芯片的廠商會提供相關(guān)軟件工具，以降低受訓模型權(quán)重的精度，從而將模型轉(zhuǎn)換為較小數(shù)值格式，例如FP8、縮放整數(shù)，或者甚至是二進制數(shù)據(jù)格式。這些較小的數(shù)據(jù)格式可為推論工作負載帶來優(yōu)勢，但也會損失一定程度的模型精度。用降低的精度重新訓練AI/ML模型通?？梢曰謴托┰S精度。

現(xiàn)在試想一下，有一種可擴展的裝置架構(gòu)，既可以部署在小型嵌入式邊緣裝置中，也可以部署在能夠聚集數(shù)據(jù)中心內(nèi)執(zhí)行的工作負載的大型裝置中。這些優(yōu)化措施除幫助改善邊緣功耗和成本效率，也能令數(shù)據(jù)中心的運算更密集、更具成本效益，以便降低用于推論和訓練的設(shè)備資本與營運支出。

而支持全精度浮點格式和降精度浮點格式的AI/ML加速器可擴展架構(gòu)，打破訓練與推論之間的人工界線，為統(tǒng)一架構(gòu)部署相同標準和熟悉的軟件工具。這類高效率的邊緣AI加速器采用數(shù)據(jù)流和芯片廣播網(wǎng)絡(luò)等架構(gòu)創(chuàng)新，允許從外部內(nèi)存獲取的數(shù)據(jù)傳輸?shù)叫酒蠖啻沃貜褪褂谩?br/>
在一些實際的應(yīng)用案例中，導向機器學習的統(tǒng)一可擴展數(shù)據(jù)流架構(gòu)，打破訓練與推論不同階段之間的壁壘。以聯(lián)邦學習（Federated Learning）為例，它解鎖全新類型的AI/ML工作負載。對于眾多連結(jié)應(yīng)用而言，聯(lián)邦學習可以取代透過一次性脫機訓練推導出的降精度AI/ML推論模型單向方法，并獲得由于欠缺代表的集中式脫機訓練集而難以實現(xiàn)的效能。

聯(lián)邦學習利用邊緣推論的重要特色，即裝置帶來遠超于原始模型訓練集，在眾多范圍暴露的不同輸入（inputs）。如設(shè)計得當，邊緣裝置能從額外輸入中學習，并在裝置部署過程中進一步提升其模型精度?？赡軙袛?shù)百、數(shù)千乃至數(shù)百萬個邊緣裝置共同改善相同的AI/ML模型，以提供更優(yōu)質(zhì)的本地回復或決策。

以同一家廠商制造并遍布在世界各地醫(yī)院中的CT或MRI掃描儀為例。這些影像裝置的任務(wù)通常是發(fā)現(xiàn)癌癥腫瘤或其他疾病，并且能愈加采用AI/ML模型幫助放射科醫(yī)生辨別可疑組織。隨著每臺現(xiàn)場裝置不斷改進其模型，如果利用聯(lián)邦學習更新及改進原始模型，可讓用于打造新影像裝置的原始訓練模型受益于相同的改良。

進行更新時，應(yīng)確保只共享來自新增邊緣訓練的洞察，而非個人隱私數(shù)據(jù)，以利所有現(xiàn)場裝置都能在不侵犯隱私的情況下從這種額外訓練中獲益。聯(lián)邦學習在隱私保護裝置個人化方面具有廣泛適用性，因其可以針對特定用戶客制化視覺算法和語音算法效能。此外，也有網(wǎng)絡(luò)安全應(yīng)用，透過網(wǎng)絡(luò)入口節(jié)點的協(xié)作學習即可發(fā)現(xiàn)主動安全規(guī)則，而無需共享敏感的專用網(wǎng)絡(luò)流量。

統(tǒng)一的云端和邊緣運算架構(gòu)優(yōu)勢在于利用相同的軟件二進制，就能將模型依邏輯劃分為執(zhí)行于云端和邊緣。統(tǒng)一架構(gòu)可確保使用兼容的數(shù)據(jù)格式，以及確保優(yōu)化數(shù)據(jù)格式如稀疏性表示（sparsity representations）不會在云端和邊緣之間中斷?？蓴U展的統(tǒng)一架構(gòu)與貫穿于所部署應(yīng)用生命周期的持續(xù)學習，與現(xiàn)時的常規(guī)訓練與推論做法不同，因為后者依賴數(shù)據(jù)中心的CPU和GPU與邊緣專用裝置。然而，隨著AI/ML逐步普及，如果業(yè)界希望大幅提升效能、精度和能源效率，這種統(tǒng)一方式應(yīng)為最合乎邏輯的途徑。

（本文作者為AMD資深副總裁Ivo Bolsens）