探索 AI 新未來，移動端 CPU 運(yùn)行生成式 AI 實例解析

作者：Arm 終端事業(yè)部產(chǎn)品管理總監(jiān) Ronan Naughton

2022 年，首個云端文生圖的生成式人工智能 (AI) 用例誕生。通過“一張宇航員騎馬的照片”文字提示，生成了一張 AI 圖像，雖然圖像還存在瑕疵，但展示了生成式 AI 令人驚嘆的能力和潛力。

當(dāng)時我并未在云端運(yùn)行這個用例，而是在想： “這很棒，但它能在移動設(shè)備上實現(xiàn)嗎？”

生成式 AI 是當(dāng)今智能手機(jī)體驗的一部分

時至今日，答案已顯而易見。事實上，許多生成式 AI 工作負(fù)載，如圖像生成和文本摘要，已無縫融入現(xiàn)代智能手機(jī)體驗之中，且這些任務(wù)均能在端側(cè)進(jìn)行高效處理。這得益于旗艦 AI 智能手機(jī)卓越的計算能力，以及生成式 AI 所依賴的大語言模型 (LLM) 不斷向更小、更高效的方向發(fā)展。這些趨勢將繼續(xù)演進(jìn)，意味著在不久的將來，生成式 AI 將成為移動端應(yīng)用的標(biāo)配。

AI 工作負(fù)載始于 CPU

正如我們之前談到的 ，移動端 AI 始于 CPU。它為全球開發(fā)者提供了軟件靈活性和可編程性。此外，地球上每一臺數(shù)字消費(fèi)電子設(shè)備都搭載 CPU，CPU 的無處不在意味著開發(fā)者創(chuàng)建應(yīng)用時，可以“一次編寫，即可隨處部署”，確保覆蓋更為廣泛的用戶。

今年早些時候，我們進(jìn)行了 聊天機(jī)器人演示 ，它能作為科學(xué)和編程虛擬助教，并在移動端 CPU 上流暢運(yùn)行。此次演示的成功，表明我們開始探索在 Arm CPU 上運(yùn)行更多端側(cè)生成式 AI 用例，以更好地滿足智能手機(jī)用戶的日常使用需求。由此，我們創(chuàng)建了三款新的演示，包括 群聊總結(jié) 、 語音留言總結(jié) 和 實時語音助手 。它們和聊天機(jī)器人演示一樣，完全在端側(cè)處理和運(yùn)行生成式 AI 工作負(fù)載，相比將數(shù)據(jù)發(fā)送到云端處理，這能提供更好的隱私性、降低延遲，并具備成本優(yōu)勢。

新的生成式 AI 演示

對我個人而言，群聊總結(jié)和語音留言總結(jié)在日常生活中非常實用。和大多數(shù)智能手機(jī)用戶一樣，我總會收到親朋好友的各種消息和語音，用生成式 AI 總結(jié)聊天內(nèi)容很有幫助。

群聊總結(jié)演示可以針對包含多個參與者的群聊消息快速提煉要點，并以易于理解的格式呈現(xiàn)。除群聊消息總結(jié)之外，該功能還適用于其他場景，例如電子郵件內(nèi)容總結(jié)。更令人稱道的是，該用例也支持多模態(tài)，甚至可以在總結(jié)中巧妙融入圖片信息。

語音留言總結(jié)演示可以展示 LLM 和語音轉(zhuǎn)文本模型如何通過協(xié)同工作總結(jié)和轉(zhuǎn)錄用戶收到的語音留言。 先由模型將語音留言轉(zhuǎn)換為文本，再由 LLM 加以總結(jié)。 對我個人而言，這真的節(jié)省了大量時間！

和之前的聊天機(jī)器人演示一樣，實時語音助手演示的創(chuàng)新亮點在于，它完全可以在飛行模式下獨立運(yùn)行，充分展示了 Arm CPU 在端側(cè)處理生成式 AI 工作負(fù)載的強(qiáng)大能力。

該演示先使用 whisper.cpp 自動識別語音，再進(jìn)入 LLM 模塊，使用 Google AI Edge 的 MediaPipe 運(yùn)行 Gemma 2B 模型。 此外，也可選擇 Llama 3 模型。 即使使用 30 億參數(shù)模型，也能實現(xiàn)實時對話，聲音逼真，且能感知語境、進(jìn)行多輪對話。

為了顯著提升性能，我們在用于語音識別的 whisper 模塊和用于生成響應(yīng)的 LLM 模塊中都集成了 Arm KleidiAI ——一組專為生成式 AI 工作負(fù)載而高度優(yōu)化的AI軟件內(nèi)核，能夠顯著提升性能表現(xiàn)。該用例還可用于汽車應(yīng)用，駕駛員無需手動操作，僅憑語音指令即可與設(shè)備互動，例如在行車途中詢問導(dǎo)航方向，或與游戲角色互動對話，極大地提升了駕駛體驗。

在以上三種演示中，我們都使用了旗艦級AI 智能手機(jī)，包括 搭載 MediaTek 天璣 9300 芯片的 vivo X100 、搭載 MediaTek 天璣 9200+ 芯片的紅米 K60 至尊版 ，以及搭載 Google Tensor G3 芯片的 Google Pixel 8 和 Pixel 8 Pro，這些手機(jī)的芯片組均采用了 Armv9 CPU 技術(shù)，該技術(shù)融入了諸如 SVE2 等全新架構(gòu)特性，旨在大幅提升 AI 性能。

未來，基于 Arm CPU 打造的旗艦 AI 智能手機(jī)將利用 可伸縮矩陣擴(kuò)展 (SME) 架構(gòu)特性，加速 AI 工作負(fù)載，并為 Arm CPU 上運(yùn)行的 AI 應(yīng)用提高性能、能效和靈活性。

展望未來

盡管生成式 AI 已經(jīng)展現(xiàn)了諸多潛力，但其未來的發(fā)展前景將更加令人期待。事實上，我認(rèn)為我們在端側(cè)生成式 AI 領(lǐng)域，尤其是在圖像和視頻生成方面，還僅僅處于初步探索階段。

近期，OpenAI 展示了由文本生成視頻，Luna Labs 演示了由圖像生成視頻。雖然兩種生成式 AI 工作負(fù)載都在云端處理，但根據(jù)當(dāng)前的趨勢發(fā)展，預(yù)計在未來兩年內(nèi)，這些工作負(fù)載就有可能在移動端CPU上得以實現(xiàn)，就像剛才提到的騎馬的宇航員用例一樣！

Arm 平臺是端側(cè)生成式 AI 的基石

生成式 AI 陸續(xù)實現(xiàn)了各種不同的用例和工作負(fù)載，不斷鞏固著智能手機(jī)在個人和專業(yè)計算中的核心地位。這讓我們更加期待生成式 AI 在移動領(lǐng)域的發(fā)展。

全球 99% 的智能手機(jī)和業(yè)界領(lǐng)先的移動生態(tài)系統(tǒng)都采用了普遍的 Arm CPU 技術(shù)，Arm 也將通過持續(xù)的技術(shù)賦能，實現(xiàn)這些令人贊嘆的可能性。

我們將持續(xù)優(yōu)化 Arm CPU，為其增加更多功能和架構(gòu)特性，同時通過 Arm Kleidi 為開發(fā)者釋放更多 AI 性能。作為引領(lǐng)未來 AI 發(fā)展的移動平臺，Arm 將持續(xù)推動該領(lǐng)域的革新與進(jìn)步。