大模型走向終端，芯片怎么辦？

來源：半導體行業(yè)觀察

人工智能已經(jīng)成為半導體行業(yè)過去幾年最重要的新推動力。而去年以ChatGPT為代表的大模型更是進一步點燃了人工智能以及相關的芯片市場，ChatGPT背后的大模型正在成為下一代人工智能的代表并可望進一步推進新的應用誕生。

說起大模型，一般我們想到的往往是在云端服務器上運行模型。然而，事實上大模型已經(jīng)在走入終端設備。一方面，目前已經(jīng)有相當多的工作證明了大模型經(jīng)過適當處理事實上可以運行在終端設備上（而不局限于運行在云端服務器）；另一方面，大模型運行在終端設備上也會給用戶帶來很大的價值。因此，我們認為在未來幾年內(nèi)，大模型將會越來越多地運行在終端設備上，而這也會推動相關芯片技術和行業(yè)的進一步發(fā)展。

智能汽車是大模型運行在終端的第一個重要市場。從應用角度來看，大模型運行在智能汽車的首要推動力就是大模型確實能給智能駕駛相關的任務帶來客觀的性能提升。去年，以BEVformer為代表的端到端鳥瞰攝像頭大模型可以說是大模型在智能汽車領域的第一個里程碑，它把多個攝像頭的視頻流直接輸入使用transformer模塊的大模型做計算，最后的性能比之前使用傳統(tǒng)卷積神經(jīng)網(wǎng)絡（CNN）模型的結果好了接近10個點，這個可謂是革命性的變化。而在上個月召開的CVPR上，商湯科技發(fā)布的UniAD大模型更是使用單個視覺大模型在經(jīng)過統(tǒng)一訓練后去適配多個不同的下游任務，最后在多個任務中都大大超越了現(xiàn)有最好的模型：例如，多目標跟蹤準確率超越了20%，車道線預測準確率提升 30%，預測運動位移和規(guī)劃的誤差則分別降低了 38% 和 28%。

目前，汽車企業(yè)（尤其是造車新勢力）已經(jīng)在積極擁抱這些智能汽車的大模型，BEVformer（以及相關的模型）已經(jīng)被不少車企使用，我們預計下一代大模型也將會在未來幾年逐漸進入智能駕駛。如果從應用角度考慮，智能汽車上的大模型必須要在終端設備上運行，因為智能汽車對于模型運行的可靠性和延遲要求非常高，在云端運行大模型并且使用網(wǎng)絡把結果傳送到終端無法滿足智能汽車的需求。

商湯科技提出的UniAD大模型架構，使用統(tǒng)一模型去適配多個任務

除了智能汽車之外，手機也是大模型進入終端的另一個重要市場。以ChatGPT為代表的語言類大模型事實上已經(jīng)成為了下一代用戶交互的重要組成部分，因此在手機上使用大語言模型將會能把這樣的新用戶交互體驗帶入手機操作系統(tǒng)中。而在手機設備終端直接運行大語言模型的主要好處在于能夠在保護用戶隱私的情況下給用戶帶來個性化的體驗（例如歸納和某個用戶的聊天記錄等等）。目前，開源社區(qū)已經(jīng)可以把Llama大語言模型能夠運行在安卓手機上CPU，回答一個問題大約需要5-10秒的時間，我們認為未來的潛力巨大。

智能汽車芯片加速大模型：算力與功耗成為關鍵

目前，人工智能已經(jīng)在智能汽車的輔助駕駛應用中得到了廣泛應用，因此大多數(shù)智能汽車上使用的芯片也有對于人工智能的支持，例如加入人工智能加速器等。然而，這些人工智能加速器主要考慮的加速對象模型仍然是上一代以卷積神經(jīng)網(wǎng)絡為代表的模型，這些模型往往參數(shù)量比較小，對于算力的需求也比較低。

為了適配下一代大模型，智能汽車芯片會有相應的改動。下一代大模型對于智能汽車芯片的要求主要包括：

我們可以從目前最成功的大模型加速芯片（即GPU）出發(fā)去推測支持大模型智能汽車芯片的具體架構，考慮GPU上有哪些設計思路需要進一步發(fā)揚光大，另外有哪些應該考慮重新設計。

首先，GPU上有海量的矩陣計算單元，這些計算單元是GPU算力的核心支撐（與之相對的，CPU上缺乏這些海量的矩陣計算單元因此算力無論如何不可能高上去），這些計算單元在智能汽車芯片上同樣也是必須的；但是由于智能汽車芯片上的計算不用考慮GPU上對于數(shù)據(jù)流和算子通用性的支持，因此智能汽車芯片上無需做GPU上這樣的大量stream core，因此從控制邏輯的角度可以做簡化以減少芯片面積成本。

第二，GPU能成功運行大模型的另一個關鍵在于有超高速的內(nèi)存接口和海量的內(nèi)存，因為目前大模型的參數(shù)量動輒千億級，這些模型必須有相應的內(nèi)存支持。這一點在智能車芯片上同樣需要，只是智能汽車芯片未必能使用GPU上的HBM這樣的超高端（同時也是高成本）內(nèi)存，而是會考慮和架構協(xié)同設計來盡可能地利用LPDDR這樣的接口的帶寬。

第三，GPU有很好的規(guī)?；头植际接嬎隳芰Γ斈Ｐ蜔o法在一個GPU上裝下時，GPU可以方便地把模型分割成多個子模型在多個GPU上做計算。智能車芯片也可以考慮這樣的架構，從而確保汽車可以在使用周期內(nèi)滿足日新月異的模型的需求。

綜合上述考慮，我們推測針對大模型的智能車芯片架構中，可能會有多個人工智能加速器同時運行，每個加速器都有簡單的設計（例如一個簡單的控制核配合大量計算單元），搭配大內(nèi)存和高速內(nèi)存接口，并且加速器之間通過高速互聯(lián)互相通信從而可以以本地分布計算的方法來加速大模型。從這個角度，我們認為智能駕駛芯片中的內(nèi)存和內(nèi)存接口將會扮演決定性的角色，而另一方面，這樣的架構也非常適合使用chiplet的方式來實現(xiàn)每個加速器并且使用高級封裝技術（包括2.5D和3D封裝）來完成多個加速器的整合，換句話說大模型在智能汽車的應用將會進一步推動下一代內(nèi)存接口和高級封裝技術的普及和演進。

大模型將會推動手機內(nèi)存和AI加速器革新

如前所述，大模型進入手機將會把下一代用戶交互范式帶入手機。我們認為，大模型進入手機將會是一個漸進的過程：例如，目前的大語言模型，即使是小版本的Llama 70億參數(shù)的模型，也沒法完全裝入手機的內(nèi)存中，而必須部分放在手機的閃存中運行，這就導致了運行速度比較慢。在未來的幾年中，我們認為手機上面的大語言模型會首先從更小的版本（例如10億參數(shù)以下的模型）開始進入應用，然后再逐漸增大參數(shù)量。

華為在春季發(fā)布會上宣布大模型技術已經(jīng)落地手機端

從這個角度來看，手機上運行大模型仍然會加速推動手機芯片在相關領域的發(fā)展，尤其是內(nèi)存和AI加速器領域——畢竟目前主流運行在手機上的模型參數(shù)量都小于10M，大語言模型的參數(shù)量大了兩個數(shù)量級，而且未來模型參數(shù)量會快速增大。這一方面將會推動手機內(nèi)存以及接口技術以更快的速度進化——為了滿足大模型的需求，未來我們可望會看到手機內(nèi)存芯片容量增長更快，而且手機內(nèi)存接口帶寬也會加快發(fā)展速度，因為目前來看內(nèi)存實際上是大模型的瓶頸。

除了內(nèi)存之外，手機芯片上的人工智能加速器也會為了大模型而做出相關的改變。目前手機芯片上的人工智能加速器（例如各種NPU IP）幾乎已經(jīng)是標配，但是這些加速器的設計基本上是針對上一代卷積神經(jīng)網(wǎng)絡設計，因此在設計上并不完全針對大模型。為了適配大模型，人工智能加速器首先必須能有更大的內(nèi)存訪問帶寬并減少內(nèi)存訪問延遲，這一方面需要人工智能加速器的接口上做出一些改變（例如分配更多的pin給內(nèi)存接口），另一方面需要片上數(shù)據(jù)互聯(lián)做出相應的改變來滿足人工智能加速器訪存的需求。

除此之外，在加速器內(nèi)部邏輯設計上，我們認為可能會更加激進地推進低精度量化計算（例如4bit甚至2bit）和稀疏計算，目前的學術界研究表明大語言模型有較大的機會可以做這樣的低精度量化/稀疏化，而如果能量化到例如4bit的話，就會大大減小相關計算單元需要的芯片面積，同時也能減小模型在內(nèi)存中需要的空間（例如4bit量化精度相對于之前的標準8bit精度就會內(nèi)存需求減半），這預計也會是未來針對手機端人工智能加速器的設計方向。

根據(jù)上述分析，我們預計從市場角度手機內(nèi)存芯片將會借著手機大模型的東風變得更重要，預計會在未來看到相比之前更快的發(fā)展，包括大容量內(nèi)存以及高速內(nèi)存接口。另一方面，手機端人工智能加速器IP也會迎來新的需求和發(fā)展，我們預計相關市場會變得更加熱鬧一些。

-End-