Arm Kleidi助力AI開發(fā)者加速創(chuàng)新

在持續(xù)快速發(fā)展的人工智能 (AI) 時(shí)代，我們堅(jiān)定地支持全球數(shù)百萬開發(fā)者，確保他們能夠獲得所需的性能、工具和軟件庫，從而順利地打造下一波令人驚嘆的 AI 體驗(yàn)。

為此，我們推出了 Arm Kleidi，這是一項(xiàng)廣泛的軟件和軟件社區(qū)參與計(jì)劃，旨在加速 AI 發(fā)展。其中的第一個(gè)舉措是推出面向熱門 AI 框架的 Arm Kleidi 軟件庫。這使開發(fā)者可以直接取得 Arm CPU 的出色 AI 功能，而如今全球從云端到邊緣側(cè)的大多數(shù) AI 推理工作負(fù)載都在這些 Arm CPU 上運(yùn)行。開發(fā)者可以借助 Arm 超過 20 年的架構(gòu)創(chuàng)新，從Armv7架構(gòu)首次引入高級(jí)單指令多數(shù)據(jù) (SIMD) 擴(kuò)展以支持機(jī)器學(xué)習(xí) (ML) 工作負(fù)載，到如今的 Armv9架構(gòu)在 Arm CPU 上囊括了加速和保護(hù)高級(jí)生成式 AI 工作負(fù)載的功能，這些創(chuàng)新持續(xù)推動(dòng) AI 能力和性能的提升。

Kleidi 軟件庫包含面向 AI 工作負(fù)載的 KleidiAI 和面向運(yùn)行于 Arm CPU 上出色的計(jì)算機(jī)視覺工作負(fù)載的 KleidiCV。該軟件庫可以被直接嵌入到熱門的 AI 框架中，開發(fā)者無需進(jìn)行任何操作。如此一來，開發(fā)者可以輕松地啟用 Arm CPU 的 AI 功能，從而快速構(gòu)建 AI 應(yīng)用，并在盡可能廣泛的設(shè)備上實(shí)現(xiàn)最出色性能。

加速AI發(fā)展

為了應(yīng)對(duì)設(shè)備類型、神經(jīng)網(wǎng)絡(luò)和推理引擎的爆發(fā)式增長，KleidiAI 是我們所給出的解決方案。它由一系列高度優(yōu)化的 AI 內(nèi)核組成，可在生成式 AI 等用例中實(shí)現(xiàn)高性能。KleidiAI 的優(yōu)勢(shì)在于，我們不會(huì)給開發(fā)者額外增加工作量，而是直接與領(lǐng)先的 AI 框架合作，包括 MediaPipe（通過 XNNPACK）、LLAMA.cpp、PyTorch（通過 ExecuTorch）和 TensorFlow Lite（通過 XNNPACK），以集成 KleidiAI。這不僅加快了開發(fā)流程，并釋放了 AI 性能，為開發(fā)者提供了默認(rèn)的高性能，使他們能夠順利地打造出色的 AI 體驗(yàn)。KleidiAI 還提供了前瞻性的兼容性，隨著我們推出更多的技術(shù)，這將確保開發(fā)者能夠充分利用未來 AI 加速機(jī)會(huì)。

KleidiAI 的集成已經(jīng)為生成式 AI 工作負(fù)載帶來了顯著的性能提升。與參考實(shí)現(xiàn)方案（基于 llama.cpp，但不含我們的軟件 Kleidi 優(yōu)化）相比，在新的Arm Cortex-X925 CPU上，使用（集成了 KleidiAI 的）llama.cpp 的 Meta Llama 3 和微軟 Phi-3 大語言模型 (LLM) 的詞元 (Token) 首次響應(yīng)時(shí)間加快了 190%。KleidiAI 非常易于集成，Arm 的工程團(tuán)隊(duì)只用不到 24 小時(shí)就測(cè)出了 Llama 3 的優(yōu)化性能。此外，KleidiAI 還通過 XNNPACK 與 MediaPipe 集成，為在移動(dòng)設(shè)備上運(yùn)行的開源 Gemma LLM 提供支持。得益于此，Google Pixel 8 Pro 智能手機(jī)上 Gemma 2B 的詞元首次響應(yīng)時(shí)間縮短了 25%。

與此同時(shí)，我們正在與 Unity 合作開發(fā) Sentis，這是一個(gè)端側(cè) AI 推理引擎，可讓游戲開發(fā)者在所有支持 Unity 游戲引擎的設(shè)備上打造創(chuàng)新的 AI 游戲體驗(yàn)。在集成 KleidAI 后，Unity Sentis 成功啟用了 int4 量化功能，將模型內(nèi)存占用率降低了 72.5%，同時(shí)在運(yùn)行 Phi-2 LLM 時(shí)性能提升了 660%。

加速計(jì)算機(jī)視覺發(fā)展

KleidiCV 能夠加速許多攝像頭用例中的計(jì)算機(jī)視覺管線。OpenCV 是全球最大的計(jì)算機(jī)視覺庫，包含 2,500 多種算法，為數(shù)十萬開發(fā)者提供支持?；?KleidiCV 集成，OpenCV 發(fā)現(xiàn)各種圖像處理任務(wù)的典型性能提升高達(dá) 75%。作為我們與 OpenCV的戰(zhàn)略軟件合作關(guān)系的一部分，我們還首次將安卓構(gòu)建引入 Maven Central，這是一個(gè)面向 Java 開發(fā)的開源軟件組件、軟件庫的資源庫。

CPU上的AI優(yōu)勢(shì)

Arm Kleidi 專注于加速 CPU 上的 AI 功能，因?yàn)樵诖蠖鄶?shù)情況下，所有 AI 工作負(fù)載都會(huì)從CPU 上開始運(yùn)行。這使得 CPU 成為開發(fā)者在為其 AI 工作負(fù)載設(shè)定目標(biāo)時(shí)的最便捷路徑。因此，我們?yōu)殚_發(fā)者提供的這一路徑性能越出色，他們就更有可能在開發(fā)過程中繼續(xù)使用 CPU 并將其作為目標(biāo)。此外，隨著 LLM 變得更小更高效，越來越多的 AI 工作負(fù)載將適合在 CPU 上處理。最終，開發(fā)過程將變得更加順暢、無縫，進(jìn)而優(yōu)化開發(fā)者的 AI 工作負(fù)載性能。

在Arm平臺(tái)上構(gòu)建AI的未來

Arm Kleidi 的推出再次突顯了 Arm 作為端側(cè)生成式 AI 計(jì)算平臺(tái)的領(lǐng)先地位。它使開發(fā)者無需學(xué)習(xí)額外的工具和技能，就能夠在非常廣泛的硬件中獲得 Arm CPU 的出色 AI 性能。隨著我們不斷創(chuàng)新，持續(xù)為新一代 AI 打造前沿架構(gòu)，開發(fā)者未來將能夠獲得更強(qiáng)大、更先進(jìn)的 AI 功能。對(duì)于最終用戶來說，這意味著更快速、更智能、更具交互性、更沉浸式、更安全的出色 AI 體驗(yàn)。

Arm Kleidi 的推出只是一個(gè)開端，我們未來還計(jì)劃推出更多軟件庫、計(jì)算內(nèi)核和引擎集成。我們將持續(xù)在 Arm 平臺(tái)上構(gòu)建 AI 的未來。