算力芯片，終局之戰(zhàn)？

作者：焉知汽車時(shí)間：2024-01-02 來源：搜狐科技

加入技術(shù)交流群
- 掃碼加入
  和技術(shù)大咖面對面交流
  海量資料庫查詢

今天這篇文章的時(shí)候，我內(nèi)心是焦慮的，甚至有點(diǎn)悲觀。

本文引用地址：http://butianyuan.cn/article/202401/454374.htm

中國的芯片界同仁，不可謂不努力：充滿艱難險(xiǎn)阻的工作，數(shù)十年如一日的煎熬，直面國際巨頭的競爭。在芯片具體產(chǎn)品層面，別人有性能優(yōu)勢，我們有價(jià)格優(yōu)勢。不敢說能打個(gè)你來我往，但至少還有還手之力。

然而，在計(jì)算生態(tài)方面，我們則完全沒有招架之力。計(jì)算生態(tài)就像一只無形的手，抹去了我們僅有的一點(diǎn)可能的機(jī)會，阻擋著我們前進(jìn)的步伐，讓我們距離世界先進(jìn)越來越遠(yuǎn)。

更令人焦慮的是未來：一方面，計(jì)算生態(tài)的作用在不斷地加強(qiáng)；另一方面，不同領(lǐng)域不同處理器的計(jì)算生態(tài)有進(jìn)一步融合的趨勢，逐漸形成新的超級生態(tài)。兩相疊加，一旦超級生態(tài)逐步建立，后進(jìn)者再無翻身的可能。

未來5-10年，大算力芯片，將迎來終局之戰(zhàn)。

1 計(jì)算架構(gòu)的發(fā)展趨勢

1.1 計(jì)算架構(gòu)的發(fā)展階段

隨著算力需求越來越高，同構(gòu)CPU的業(yè)務(wù)場景越來越少，基于GPU或AI等DSA處理器的異構(gòu)計(jì)算已經(jīng)成為主流。從發(fā)展的角度看，隨著大模型等算力場景的持續(xù)挑戰(zhàn)，未來會進(jìn)一步從異構(gòu)計(jì)算走向異構(gòu)融合計(jì)算。

如果按照處理器類型的數(shù)量進(jìn)行分類，可以分為三個(gè)階段：

第一階段，單個(gè)處理器，即CPU同構(gòu)計(jì)算階段。
第二階段，兩個(gè)處理器，即CPU+GPU或CPU+其他專用加速處理器的異構(gòu)計(jì)算階段。
第三階段，三個(gè)或三個(gè)以上處理器，即多異構(gòu)或異構(gòu)融合計(jì)算階段。

行業(yè)在創(chuàng)新處理器的設(shè)計(jì)和實(shí)現(xiàn)方面進(jìn)行了很多探索，比如存算一體、重構(gòu)計(jì)算、類腦計(jì)算、量子計(jì)算等等。這些新型的計(jì)算架構(gòu)設(shè)計(jì)或?qū)崿F(xiàn)方法，從系統(tǒng)指令復(fù)雜度的視角，可以歸屬到DSA或ASIC的范疇。因此，這些創(chuàng)新，沒有跳脫異構(gòu)融合計(jì)算的大框架。

以我目前淺薄的認(rèn)識，個(gè)人覺得：異構(gòu)融合計(jì)算，將是計(jì)算架構(gòu)的終極形態(tài)。

1.2 CPU同構(gòu)，單個(gè)處理器，單個(gè)生態(tài)

雖然僅僅只有一個(gè)處理器，但其計(jì)算生態(tài)已經(jīng)是地獄級難度。

Intel x86架構(gòu)的優(yōu)勢，是在眾多處理器架構(gòu)的廝殺中逐步確立的。隨著x86的優(yōu)勢地位確立，基于x86架構(gòu)的軟件生態(tài)逐漸成熟，即便是Intel自己，也無法改變這一局面。

Intel的64位安騰（Itanium）處理器，是一個(gè)非常典型的失敗的案例。安騰是Intel于2001年推出的64位架構(gòu)的CPU處理器，Intel對之寄予厚望。雖然是Intel的親兒子，雖然是功能強(qiáng)大的64位CPU架構(gòu)，雖然安騰的架構(gòu)和微架構(gòu)設(shè)計(jì)非常優(yōu)秀，但因?yàn)楹蛒86的不兼容，完全一個(gè)新的生態(tài)，不可避免的走向了失?。?021年7月29日是安騰處理器最后的出貨日期，英特爾正式告別了這款使用IA-64指令集的純64位處理器）。

與此形成鮮明對比的，是AMD64的成功。2003年，AMD推出了業(yè)界首款 64 位處理器 Athlon 64，帶來了AMD64（x86-64）指令集，即x86指令集的64位擴(kuò)展超集，具備向下兼容的特點(diǎn)。因?yàn)橄蛳录嫒?，繼承性地往前發(fā)展，最終成就了AMD64的成功。

1.3 GPU異構(gòu)，兩個(gè)處理器，兩個(gè)生態(tài)融合

相對于Intel的x86 CPU計(jì)算生態(tài)是百家爭鳴的勝者，NVIDIA GPU的CUDA生態(tài)，則是數(shù)年孤獨(dú)后的一鳴驚人。

在NVIDIA GPGPU之前，GPU真的就只是GPU，即專用于圖形計(jì)算的加速卡。這一時(shí)期的GPU，符合DSA的定義規(guī)范，可以當(dāng)作是專用于圖像領(lǐng)域的G-DSA。直到NVIDIA GPGPU的出現(xiàn)。

2006年，NVIDIA發(fā)布GPGPU。NVIDIA發(fā)現(xiàn)，圖像處理有很多并行處理的部件，于是決定將這些專用的處理完全改造成通用的高效能小CPU核，于是GPGPU誕生了。雖然此時(shí)，GPGPU已經(jīng)足夠通用，但其編程難度很高，于是NVIDIA又貼心地開發(fā)了CUDA計(jì)算框架。即便如此，早期的CUDA功能并不強(qiáng)大，開發(fā)仍然不夠友好。很多開發(fā)者并不看好，認(rèn)為CPU多核才是正確的發(fā)展道路。

直到2012年，Alexnet的問世，深度學(xué)習(xí)時(shí)代的來臨，NVIDIA GPU+CUDA才成了熱門的計(jì)算平臺，助推著NVIDIA市值超越一眾競爭對手，成為全球市值第一的芯片公司。再緊接著，2018年，AI大模型逐漸流行。進(jìn)一步把這股浪潮推向高潮，NVIDIA GPU一時(shí)間“洛陽紙貴”，同時(shí)，NVIDIA的市值突破了萬億美金大關(guān)。

我們再來看CPU和GPU的融合。

2022年初，NVIDIA正式宣布，收購ARM失敗。假如，NVIDIA收購ARM成功，這場大算力芯片的“戰(zhàn)爭”，基本上可以提前給出結(jié)果：NVIDIA獲勝，其他家永無出頭之日。好在這件事情沒有成行，算力芯片“戰(zhàn)爭”的結(jié)果，仍存在變數(shù)，這場“戰(zhàn)爭”仍在繼續(xù)。

之后，NVIDIA退而求其次，與ARM的深度合作，開發(fā)了Grace系列高性能CPU，以及CPU+GPU整合的Grace Hopper系列超級芯片。

2 計(jì)算生態(tài)的極端重要性

在之前，我一直以為Transformer之所以能夠脫穎而出的最大原因就是那篇論文的標(biāo)題：“Attention is all you need”，優(yōu)勢來源于算法本身。最近一段時(shí)間，跟好幾位AI領(lǐng)域的專家交流下來，他們的觀點(diǎn)是：有很大一部分原因是因?yàn)?，Transformer比較好的實(shí)現(xiàn)了并行處理，能夠最大限度的利用GPU并行的算力，因此才能夠?qū)崿F(xiàn)更大參數(shù)規(guī)模的大模型，進(jìn)而獲得更好的智能體驗(yàn)。

這個(gè)案例可以得到這樣一個(gè)結(jié)論：只有NVIDIA GPU+CUDA生態(tài)親和的模型才能最終走出來；如果不是NVIDIA GPU+CUDA架構(gòu)和生態(tài)友好的模型，哪怕實(shí)際效果再好，也受限于模型效率、參數(shù)規(guī)模和成本等方面的劣勢，無法脫穎而出。

或者說，大模型發(fā)展，強(qiáng)依賴于NVIDIA的GPU+CUDA計(jì)算生態(tài)。

在我的個(gè)人觀點(diǎn)里，一直以來，都是非常重視生態(tài)的難度和重要性的。但最近幾年，隨著認(rèn)識的進(jìn)一步加深，我的想法得到了進(jìn)一步修正。計(jì)算生態(tài)很重要，但過去10年左右的發(fā)展，使得計(jì)算生態(tài)的重要性，比我們大家想象的要更加重要：