比肩摩爾定律！英偉達(dá)提出"黃氏定律"！

#時事熱點頭條說#

當(dāng)人們在爭論摩爾定律在本世紀(jì)20年代是否會放緩、是否仍然適用、甚至是否已經(jīng)走向盡頭時，英偉達(dá)的科學(xué)家們卻預(yù)示著令人印象深刻的“黃仁勛定律”。在過去十年中，英偉達(dá)GPU的人工智能處理能力據(jù)稱增長了1000倍。黃氏定律意味著我們在“單芯片推理性能”中看到的增速不會逐漸消失，而是會繼續(xù)出現(xiàn)。

英偉達(dá)上周五發(fā)表了一篇關(guān)于黃氏定律的博客文章，概述了黃氏定律背后的信念和工作實踐。有趣的是，英偉達(dá)首席科學(xué)家比爾?戴利所描述的“后摩爾定律時代計算機(jī)性能的結(jié)構(gòu)性轉(zhuǎn)變”主要是基于人類的聰明才智。這一特征似乎有些難以預(yù)測，但戴利認(rèn)為，下面這張令人印象深刻的圖表標(biāo)志著黃氏定律的開始。

根據(jù)戴利最近在Hot Chips 2023大會上的演講，上圖顯示GPU AI推理性能在過去十年中增長了1000倍。有趣的是，與摩爾定律不同的是，工藝尺寸縮小對黃氏定律的進(jìn)展幾乎沒有影響。

戴利回憶了如何通過改變Nvidia GPU的底層數(shù)字處理方式實現(xiàn)16倍的性能增益。另一個巨大的推動力是Nvidia Hopper架構(gòu)的到來，此架構(gòu)使用了Transformer Engine。據(jù)稱，Hopper使用了8位和16位浮點數(shù)和整數(shù)計算的動態(tài)混合，實現(xiàn)了12.5倍的性能飛躍，同時還節(jié)省了能耗。

戴利最令人驚訝的說法之一是，人工智能推理性能的1000倍性能增加與工藝尺寸縮小的收益形成鮮明對比。在過去的十年里，隨著英偉達(dá)GPU從28納米工藝轉(zhuǎn)向5納米工藝，半導(dǎo)體工藝的改進(jìn)“只占總收益的2.5倍”。

值得慶幸的是，戴利表示他和他的團(tuán)隊仍然看到了加速人工智能推理處理的“幾個機(jī)會”，其中包括進(jìn)一步簡化數(shù)字的表示方式，在人工智能模型中創(chuàng)建更多的稀疏性，以及設(shè)計更好的內(nèi)存和通信電路。