“黃氏定律”，英偉達(dá)AI成功的秘訣

旺材芯片

Hey！希望可以幫你提取業(yè)內(nèi)新鮮，有價(jià)值的信息！持續(xù)為你生產(chǎn)半導(dǎo)體行業(yè)技術(shù)干貨、新聞動(dòng)態(tài)、市場(chǎng)分析等優(yōu)質(zhì)內(nèi)容。

110篇原創(chuàng)內(nèi)容

公眾號(hào)

人形機(jī)器人聯(lián)盟

人形機(jī)器人聯(lián)盟公眾號(hào)平臺(tái)，帶你學(xué)習(xí)機(jī)器人專業(yè)知識(shí)，看每日機(jī)器人最新資訊

公眾號(hào)

據(jù)稱，與過去十年 GPU 推理性能提升 1,000 倍相比，流程增益的重要性要低得多。

當(dāng)人們爭(zhēng)論摩爾定律在 2020 年代是否會(huì)放緩、是否仍然適用，甚至是死是活時(shí)，Nvidia 的科學(xué)家們預(yù)示著黃氏定律背后的令人印象深刻的勢(shì)頭。據(jù)稱，在過去十年中，Nvidia GPU 人工智能處理能力增長(zhǎng)了 1000 倍。黃定律意味著我們?cè)凇皢涡酒评硇阅堋敝锌吹降募铀佻F(xiàn)在不會(huì)逐漸消失，而是會(huì)繼續(xù)出現(xiàn)。

英偉達(dá)周五發(fā)布了一篇有關(guān)黃氏定律的博文，概述了黃氏定律背后的信念和工作實(shí)踐。有趣的是，Nvidia 首席科學(xué)家 Bill Dally 所描述的“后摩爾定律時(shí)代計(jì)算機(jī)性能如何實(shí)現(xiàn)的結(jié)構(gòu)性轉(zhuǎn)變”主要基于人類的聰明才智。建立法律時(shí)，這一特征似乎有些不可預(yù)測(cè)，但達(dá)利認(rèn)為，下面令人印象深刻的圖表標(biāo)志著黃氏定律的開始。

根據(jù) Dally 最近在 Hot Chips 2023 會(huì)議上的演講，上圖顯示過去十年 GPU AI 推理性能增長(zhǎng)了 1000 倍。英偉達(dá)首席科學(xué)家表示，有趣的是，與摩爾定律不同，工藝縮小對(duì)黃氏定律的進(jìn)展幾乎沒有影響。

Dally 回憶起如何通過改變 Nvidia GPU 底層數(shù)字處理來實(shí)現(xiàn) 16 倍的增益。使用 Transformer 引擎的Nvidia Hopper架構(gòu)的到來帶來了另一個(gè)巨大的推動(dòng)。據(jù)稱，Hopper 使用 8 位和 16 位浮點(diǎn)與整數(shù)數(shù)學(xué)的動(dòng)態(tài)組合，實(shí)現(xiàn)了 12.5 倍的性能飛躍，并且節(jié)省了能源。這位科學(xué)家表示，此前，Nvidia Ampere引入了結(jié)構(gòu)稀疏性，使性能提高了 2 倍。NVLink 和 Nvidia 網(wǎng)絡(luò)技術(shù)等進(jìn)步進(jìn)一步增強(qiáng)了這些令人印象深刻的成果。

Dally 最令人驚訝的說法之一是，AI 推理性能的復(fù)合收益超過 1000 倍，與流程改進(jìn)帶來的收益形成鮮明對(duì)比。Hot Chips 的 Dally 表示，在過去十年中，隨著 Nvidia GPU 從 28 納米工藝轉(zhuǎn)向 5 納米工藝，半導(dǎo)體工藝改進(jìn)“僅占總收益的 2.5 倍”。

在“用巧思和努力發(fā)明和驗(yàn)證新鮮食材”等理念的背后，黃氏法則將如何快速發(fā)展？值得慶幸的是，Dally表示他和他的團(tuán)隊(duì)仍然看到了加速人工智能推理處理的“幾個(gè)機(jī)會(huì)”。探索的途徑包括“進(jìn)一步簡(jiǎn)化數(shù)字的表示方式，在人工智能模型中創(chuàng)造更多的稀疏性以及設(shè)計(jì)更好的內(nèi)存和通信電路?！?/span>