為何需要NPU？它是如何工作的

“NPU” 代表什么？它能做什么？在過(guò)去的一年里，關(guān)于神經(jīng)處理單元（NPU）的討論越來(lái)越多。雖然 NPU 已經(jīng)在智能手機(jī)中出現(xiàn)幾年了，但英特爾、AMD 以及最近的微軟都推出了配備 NPU 的支持 AI 的消費(fèi)級(jí)筆記本電腦和個(gè)人電腦。

NPU 與 AI PC 的相關(guān)概念密切相關(guān)，AMD、Apple、Intel 和 Qualcomm 等主要硬件制造商生產(chǎn)的芯片中越來(lái)越多地使用 NPU。自微軟推出 Copilot+ AI PC 產(chǎn)品以來(lái)，NPU 開(kāi)始越來(lái)越多地出現(xiàn)在筆記本電腦中。

NPU起什么作用？

NPU 的作用是充當(dāng)人工智能的硬件加速器。硬件加速是使用專用硅片來(lái)管理特定任務(wù)，就像主廚將不同的任務(wù)委托給副廚師，讓他們一起按時(shí)準(zhǔn)備飯菜一樣。NPU 不會(huì)取代您的 CPU 或 GPU；相反，NPU 旨在補(bǔ)充 CPU 和 GPU 的優(yōu)勢(shì)，處理邊緣 AI 等工作負(fù)載，以便 CPU 和 GPU 可以為它們擅長(zhǎng)的任務(wù)保留處理時(shí)間。

GPU 是專門為渲染圖形而設(shè)計(jì)的硬件加速器，但具有足夠的底層靈活性，也非常適合 AI 或某些類型的科學(xué)計(jì)算。長(zhǎng)期以來(lái)，如果您有想要處理的 AI 工作負(fù)載，您會(huì)希望使用一個(gè)或多個(gè)高性能 GPU 進(jìn)行實(shí)際的數(shù)字運(yùn)算。一些公司正在致力于專門為 AI 構(gòu)建專用硬件加速器，例如 Google 的 TPU，因?yàn)樵凇癎PU”中帶有“G”的附加圖形功能在純粹用于 AI 處理的卡中沒(méi)有用處。

工作量決定一切

硬件加速在不涉及大量條件分支的重復(fù)性任務(wù)中最為有用，尤其是在數(shù)據(jù)量很大的情況下。例如，渲染 3D 圖形需要計(jì)算機(jī)管理持續(xù)不斷的無(wú)數(shù)粒子和多邊形流。這是一項(xiàng)帶寬密集型任務(wù)，但實(shí)際計(jì)算（主要是）三角函數(shù)。計(jì)算機(jī)圖形學(xué)、物理和天文學(xué)計(jì)算以及大型語(yǔ)言模型 (LLM)，如支持現(xiàn)代 AI 聊天機(jī)器人的模型是硬件加速的理想工作負(fù)載的幾個(gè)例子。

AI 工作負(fù)載有兩種類型：訓(xùn)練和推理。訓(xùn)練幾乎完全在 GPU 上進(jìn)行。Nvidia 利用其近二十年對(duì) CUDA 的投資及其在獨(dú)立 GPU 中的領(lǐng)導(dǎo)地位，在這兩個(gè)市場(chǎng)上占據(jù)主導(dǎo)地位，盡管 AMD 已遠(yuǎn)遠(yuǎn)落后于第二名。大規(guī)模訓(xùn)練在數(shù)據(jù)中心規(guī)模進(jìn)行，當(dāng)您與ChatGPT等基于云的服務(wù)進(jìn)行通信時(shí)運(yùn)行的推理工作負(fù)載也是如此。

NPU（以及與之相連的 AI PC）的運(yùn)行規(guī)模要小得多。它們可以補(bǔ)充您最喜歡的 CPU 供應(yīng)商的微處理器中的集成 GPU，為未來(lái)的 AI 工作負(fù)載提供額外的靈活性，并且與等待云端相比，可以提高性能。

NPU 如何工作？

一般來(lái)說(shuō)，NPU 依靠高度并行的設(shè)計(jì)來(lái)快速執(zhí)行重復(fù)性任務(wù)。相比之下，CPU 是多面手。這種差異反映在 NPU 的邏輯和物理架構(gòu)中。CPU 有一個(gè)或多個(gè)內(nèi)核，可以訪問(wèn)少量共享內(nèi)存緩存，而 NPU 有多個(gè)子單元，每個(gè)子單元都有自己的微型緩存。NPU 適用于高吞吐量和高度并行的工作負(fù)載，如神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)。

NPU、神經(jīng)網(wǎng)絡(luò)和神經(jīng)形態(tài)系統(tǒng)（如英特爾的 Loihi 平臺(tái)）都具有一個(gè)共同的設(shè)計(jì)目標(biāo)：模擬大腦信息處理的某些方面。

每家將 NPU 推向市場(chǎng)的設(shè)備制造商都有其特定于其產(chǎn)品的微架構(gòu)。大多數(shù)制造商還發(fā)布了與其 NPU 配合使用的軟件開(kāi)發(fā)工具。例如，AMD 提供了 Ryzen AI 軟件堆棧，而英特爾則繼續(xù)改進(jìn)其正在進(jìn)行的開(kāi)源深度學(xué)習(xí)軟件工具包 OpenVINO。

NPU 和邊緣智能

大多數(shù) NPU 都安裝在面向消費(fèi)者的設(shè)備中，例如筆記本電腦和 PC。例如，高通的 Hexagon DSP 為其驍龍?zhí)幚砥魈砑恿?NPU 加速功能，用于智能手機(jī)、平板電腦、可穿戴設(shè)備、高級(jí)駕駛輔助系統(tǒng)和物聯(lián)網(wǎng)。Apple 生態(tài)系統(tǒng)在 iPhone、iPad 和 iMac 的 A 系列和 M 系列芯片中使用了其神經(jīng)引擎 NPU。此外，一些 PC 和筆記本電腦被指定為 Copilot+，這意味著它們可以在板載 NPU 上運(yùn)行 Microsoft 的 Copilot AI。但是，一些服務(wù)器端或基于云的系統(tǒng)也使用 NPU。Google 的 Tensor Processing Units 是專為數(shù)據(jù)中心的高性能機(jī)器學(xué)習(xí)而設(shè)計(jì)的 NPU 加速器。

NPU 崛起的原因之一是邊緣智能的重要性日益增加。在傳感器網(wǎng)絡(luò)、移動(dòng)設(shè)備和物聯(lián)網(wǎng)之間，數(shù)據(jù)整理的需求已經(jīng)日益增長(zhǎng)。與此同時(shí)，基于云的服務(wù)受制于基礎(chǔ)設(shè)施延遲。本地處理不一定非要在云端執(zhí)行任何操作。這可能在速度和安全性方面都是一種優(yōu)勢(shì)。

你是否需要 NPU 這個(gè)問(wèn)題幾乎是一個(gè)轉(zhuǎn)移注意力的話題。英特爾、AMD 和蘋果等硅谷巨頭已經(jīng)投資了這項(xiàng)技術(shù)。無(wú)論你是否有特定的 NPU 用途，下次你組裝或購(gòu)買 PC 時(shí)，你選擇的芯片很有可能會(huì)配備 NPU。到 2026 年底，分析師預(yù)計(jì)100% 的美國(guó)企業(yè) PC 購(gòu)買都將在芯片中嵌入一個(gè)或多個(gè) NPU。換句話說(shuō)，不用擔(dān)心買不到帶有 NPU 的系統(tǒng)。他們會(huì)主動(dòng)找上門來(lái)的。

*免責(zé)聲明：本文由作者原創(chuàng)，內(nèi)容編譯自extremetech。原文鏈接：https://www.extremetech.com/computing/what-is-an-npu