英偉達(dá)首席科學(xué)家：摩爾定律已失效，“黃氏定律”成全新指標(biāo)

1965年，時(shí)任仙童半導(dǎo)體公司工程師，也是后來(lái)英特爾的創(chuàng)始人之一的戈登·摩爾（Gordon Moore）提出了摩爾定律（Moore's law），預(yù)測(cè)集成電路上可以容納的晶體管數(shù)目大約每經(jīng)過(guò)24個(gè)月便會(huì)增加一倍。

后來(lái)廣為人知的每18個(gè)月芯片性能將提高一倍的說(shuō)法是由英特爾CEO大衛(wèi)·豪斯（David House）提出。過(guò)去的半個(gè)多世紀(jì)，半導(dǎo)體行業(yè)按照摩爾定律發(fā)展，并驅(qū)動(dòng)了一系列的科技創(chuàng)新。

有意思的是，在摩爾定律放緩的當(dāng)下，以全球另一大芯片公司英偉達(dá)（NVIDIA）創(chuàng)始黃仁勛（Jensen Huang）名字命名的定律“黃氏定律 (Huang’s Law)”對(duì)AI性能的提升作出預(yù)測(cè)，預(yù)測(cè)GPU將推動(dòng)AI性能實(shí)現(xiàn)逐年翻倍。

△英偉達(dá)GPU助推AI推理性能每年提升一倍以上

英特爾提出了摩爾定律，也是過(guò)去幾十年最成功的芯片公司之一。英偉達(dá)作為當(dāng)下最炙手可熱的AI芯片公司之一，提出黃氏定律是否也意味著其將引領(lǐng)未來(lái)幾十年芯片行業(yè)的發(fā)展？

AI性能將逐年翻倍

受疫情影響，一年一度展示英偉達(dá)最新技術(shù)、產(chǎn)品和中國(guó)合作伙伴成果的GTC China改為線上舉行，黃仁勛缺席今年的主題演講，由英偉達(dá)首席科學(xué)家兼研究院副總裁Bill Dally進(jìn)行分享。Bill Dally是全球著名的計(jì)算機(jī)科學(xué)家，擁有120多項(xiàng)專(zhuān)利，在2009年加入英偉達(dá)之前，曾任斯坦福大學(xué)計(jì)算機(jī)科學(xué)系主任。加入英偉達(dá)之后，Dally曾負(fù)責(zé)英偉達(dá)在AI、光線追蹤和高速互連領(lǐng)域的相關(guān)研究。

△英偉達(dá)首席科學(xué)家兼研究院副總裁Bill Dally

雷鋒網(wǎng)消息，在今天GTC China 2020演講中，Dally稱(chēng)：“如果我們真想提高計(jì)算機(jī)性能，黃氏定律就是一項(xiàng)重要指標(biāo)，且在可預(yù)見(jiàn)的未來(lái)都將一直適用。”

Dally用三個(gè)項(xiàng)目說(shuō)明黃氏定律將如何得以實(shí)現(xiàn)。首先是為了實(shí)現(xiàn)超高能效加速器的MAGNet工具。英偉達(dá)稱(chēng)，MAGNet生成的AI推理加速器在模擬測(cè)試中，能夠達(dá)到每瓦 100 tera ops 的推理能力，比目前的商用芯片高出一個(gè)數(shù)量級(jí)。

之所以能夠?qū)崿F(xiàn)數(shù)量級(jí)的性能提升，主要是因?yàn)镸AGNet采用了一系列新技術(shù)來(lái)協(xié)調(diào)并控制通過(guò)設(shè)備的信息流，最大限度地減少數(shù)據(jù)傳輸。數(shù)據(jù)搬運(yùn)是AI芯片最耗能的環(huán)節(jié)已經(jīng)是當(dāng)今業(yè)界的共識(shí)，這一研究模型以模組化實(shí)現(xiàn)能夠?qū)崿F(xiàn)靈活擴(kuò)展。

Dally帶領(lǐng)的200人的研究團(tuán)隊(duì)的另一個(gè)研究項(xiàng)目目標(biāo)是以更快速的光鏈路取代現(xiàn)有系統(tǒng)內(nèi)的電氣鏈路。Dally說(shuō)：“我們可以將連接GPU的NVLink速度提高一倍，也許還會(huì)再翻番，但電信號(hào)最終會(huì)消耗殆盡?！?/p>

這個(gè)項(xiàng)目是英偉達(dá)與哥倫比亞大學(xué)的研究團(tuán)隊(duì)合作，探討如何利用電信供應(yīng)商在其核心網(wǎng)絡(luò)中所采用的技術(shù)，通過(guò)一條光纖來(lái)傳輸數(shù)十路信號(hào)。據(jù)悉，這種名為“密集波分復(fù)用”的技術(shù), 有望在僅一毫米大小的芯片上實(shí)現(xiàn)Tb/s級(jí)數(shù)據(jù)的傳輸，是如今互連密度的十倍以上。

△搭載160多個(gè)GPU的NVIDIA DGX系統(tǒng)模型

Dally在演講中舉例展示了一個(gè)未來(lái)將搭載160多個(gè)GPU的NVIDIA DGX系統(tǒng)模型。這意味著，利用“密集波分復(fù)用”技術(shù)，不僅可以實(shí)現(xiàn)更大的吞吐量，光鏈路也有助于打造更為密集的系統(tǒng)。

想要發(fā)揮光鏈路的全部潛能，還需要相應(yīng)的軟件，這也是Dally分享的第三個(gè)項(xiàng)目——全新編程系統(tǒng)原型Legate。Legate將一種新的編程速記融入了加速軟件庫(kù)和高級(jí)運(yùn)行時(shí)環(huán)境Legion，借助Legate，開(kāi)發(fā)者可在任何規(guī)模的系統(tǒng)上運(yùn)行針對(duì)單一GPU編寫(xiě)的程序——甚至適用于諸如 Selene等搭載數(shù)千個(gè)GPU的巨型超級(jí)計(jì)算機(jī)。

Dally稱(chēng)Legate正在美國(guó)國(guó)家實(shí)驗(yàn)室接受測(cè)試。

MAGNet、以光鏈路取代現(xiàn)有系統(tǒng)內(nèi)的電氣鏈路以及Legate是成功實(shí)現(xiàn)黃氏定律的關(guān)鍵，但GPU的成功才是基礎(chǔ)。因此，GPU當(dāng)下的成功以及未來(lái)的演進(jìn)都尤其重要。

GPU是黃氏定律的基礎(chǔ)

今年5月，英偉達(dá)發(fā)布了面積高達(dá)826平方毫米，集成了540億個(gè)晶體管的7nm全新安培（Ampere）架構(gòu)GPU A100。相比Volta 架構(gòu)的GPU能夠?qū)崿F(xiàn)20倍的性能提升，并可以同時(shí)滿足AI訓(xùn)練和推理的需求。

憑借更高精度的第三代Tensor Core核心，A100 GPU AI性能相比上一代有明顯提升，雷鋒網(wǎng)此前報(bào)道，在7月的第三個(gè)版本MLPerf Training v0.7基準(zhǔn)測(cè)試（Benchmark）結(jié)果中，英偉達(dá)的DGX SuperPOD系統(tǒng)在性能上開(kāi)創(chuàng)了八個(gè)全新里程碑，共打破16項(xiàng)紀(jì)錄。

另外，在10月出爐的MLPerf Inference v0.7結(jié)果中，A100 Tensor Core GPU在云端推理的基準(zhǔn)測(cè)試性能是最先進(jìn)英特爾CPU的237倍。

更強(qiáng)大的A100 GPU迅速被多個(gè)大客戶采用，迄今為止，阿里云、百度智能云、滴滴云、騰訊云等眾多中國(guó)云服務(wù)提供商推出搭載了英偉達(dá)A100的多款云服務(wù)及GPU實(shí)例，包括圖像識(shí)別、語(yǔ)音識(shí)別，以及計(jì)算流體動(dòng)力學(xué)、計(jì)算金融學(xué)、分子動(dòng)力學(xué)等快速增長(zhǎng)的高性能計(jì)算場(chǎng)景。

另外，新華三、浪潮、聯(lián)想、寧暢等系統(tǒng)制造商等也選擇了最新發(fā)布的A100 PCIe版本以及英偉達(dá) A100 80GB GPU，為超大數(shù)據(jù)中心提供兼具超強(qiáng)性能與靈活的AI加速系統(tǒng)。

Dally在演講中提到：“經(jīng)過(guò)幾代人的努力，NVIDIA的產(chǎn)品將通過(guò)基于物理渲染的路徑追蹤技術(shù)，實(shí)時(shí)生成令人驚艷的圖像，并能夠借助AI構(gòu)建整個(gè)場(chǎng)景?！?/p>

與光鏈路取代現(xiàn)有系統(tǒng)內(nèi)的電氣鏈路需要軟硬件的匹配一樣，英偉達(dá)GPU軟硬件的結(jié)合才能應(yīng)對(duì)更多AI應(yīng)用場(chǎng)景苛刻的挑戰(zhàn)。

Dally在此次的GTC China上首次公開(kāi)展示了英偉達(dá)對(duì)話式AI框架Jarvis與GauGAN的組合。GauGAN利用生成式對(duì)抗網(wǎng)絡(luò)，只需簡(jiǎn)略構(gòu)圖，就能創(chuàng)建美麗的風(fēng)景圖。演示中，用戶可通過(guò)語(yǔ)音指令，即時(shí)生成像照片一樣栩栩如生的畫(huà)作。

GPU是黃氏定律的基礎(chǔ)，而能否實(shí)現(xiàn)并延續(xù)黃氏定律，僅靠少數(shù)的大公司顯然不夠，還需要眾多的合作伙伴激發(fā)對(duì)AI算力的需求和更多創(chuàng)新。

黃氏定律能帶來(lái)什么？

英偉達(dá)已經(jīng)在構(gòu)建AI生態(tài)，并在GTC China上展示了英偉達(dá)初創(chuàng)加速計(jì)劃從100多家AI初創(chuàng)公司中脫穎而出的12家公司，這些公司涵蓋會(huì)話人工智能、智慧醫(yī)療/零售、消費(fèi)者互聯(lián)網(wǎng)/行業(yè)應(yīng)用、深度學(xué)習(xí)應(yīng)用/加速數(shù)據(jù)科學(xué)、自主機(jī)器/IOT/工業(yè)制造、自動(dòng)駕駛汽車(chē)。

智能語(yǔ)音正在改變我們的生活。會(huì)話人工智能的深思維提供的是離線智能語(yǔ)音解決方案，在占有很少空間的前提下實(shí)現(xiàn)智能交互，語(yǔ)音合成和語(yǔ)音識(shí)別保證毫秒級(jí)響應(yīng)。深聲科技基于英偉達(dá)的產(chǎn)品研發(fā)高質(zhì)量中英文語(yǔ)音合成、聲音定制、聲音克隆等語(yǔ)音AI技術(shù)。

對(duì)于行業(yè)應(yīng)用而言，星云Clustar利用英偉達(dá)GPU和DGX工作站，能夠大幅提升模型預(yù)測(cè)精確度以及解決方案處理性能，讓傳統(tǒng)行業(yè)的AI升級(jí)成本更低、效率更高。

摩爾定律的成功帶來(lái)了新的時(shí)代，黃氏定律能否成功仍需時(shí)間給我們答案。但這一定律的提出對(duì)AI性能的提升給出了明確的預(yù)測(cè)，并且英偉達(dá)正在通過(guò)硬件、軟件的提升和創(chuàng)新，努力實(shí)現(xiàn)黃氏定律，同時(shí)借生態(tài)的打造想要更深遠(yuǎn)的影響AI發(fā)展。

黃氏定律值得我們期待