英偉達(dá)H100具有800億晶體管首次使用HBM3

Nvidia在其年度GTC會議上宣布了一系列以AI為重點(diǎn)的企業(yè)產(chǎn)品。其中包括其新的硅架構(gòu)Hopper的細(xì)節(jié)；第一個(gè)使用該架構(gòu)的數(shù)據(jù)中心GPU H100；一個(gè)新的Grace CPU "超級芯片"；以及該公司聲稱將建立世界上最快的AI超級計(jì)算機(jī)的模糊計(jì)劃，名為Eos。

Nvidia從過去十年的人工智能熱潮中受益匪淺，其GPU被證明是流行的、數(shù)據(jù)密集型深度學(xué)習(xí)方法的完美匹配。Nvidia表示，隨著AI領(lǐng)域?qū)?shù)據(jù)計(jì)算需求的增長，它希望提供更多的火力。

特別是，該公司強(qiáng)調(diào)了一種被稱為變形金剛的機(jī)器學(xué)習(xí)系統(tǒng)的普及。這種方法已經(jīng)取得了令人難以置信的成果，為從OpenAI的GPT-3等語言模型到DeepMind的AlphaFold等醫(yī)療系統(tǒng)提供動(dòng)力。在幾年的時(shí)間里，此類模型的規(guī)模呈指數(shù)級增長。例如，當(dāng)OpenAI在2019年推出GPT-2時(shí)，它包含15億個(gè)參數(shù)（或連接）。當(dāng)谷歌在兩年后訓(xùn)練一個(gè)類似的模型時(shí)，它使用了1.6萬億個(gè)參數(shù)。

隨著AI要求更多的計(jì)算機(jī)，Nvidia希望提供它

"訓(xùn)練這些巨型模型仍然需要幾個(gè)月的時(shí)間，"Nvidia產(chǎn)品管理高級總監(jiān)Paresh Kharya在一次新聞發(fā)布會上說。"所以你解雇了一個(gè)工作，并等待一個(gè)半月，看看會發(fā)生什么。縮短這個(gè)訓(xùn)練時(shí)間的一個(gè)關(guān)鍵挑戰(zhàn)是，隨著你在數(shù)據(jù)中心增加GPU的數(shù)量，性能收益開始下降。"

Nvidia表示，其新的Hopper架構(gòu)將有助于改善這些困難。該架構(gòu)以先驅(qū)計(jì)算機(jī)科學(xué)家和美國海軍少將Grace Hopper的名字命名，與上一代芯片相比，該架構(gòu)專門用于在H100 GPU上加速變形金剛模型的訓(xùn)練，而新的第四代Nivida NVlink可以連接多達(dá)256個(gè)H100 GPU，帶寬比上一代高9倍。

H100 GPU本身包含800億個(gè)晶體管，是第一個(gè)支持PCle Gen5和利用HBM3的GPU，使內(nèi)存帶寬達(dá)到3TB/s。Nvidia表示，H100 GPU在FP16、FP32和FP64計(jì)算方面比其上一代A100快三倍，在8位浮點(diǎn)數(shù)學(xué)方面快六倍。

"對于巨型變形金剛模型的訓(xùn)練，H100將提供高達(dá)9倍的性能，在幾天內(nèi)完成過去需要幾周的訓(xùn)練，"Kharya說。

該公司還宣布了一個(gè)新的數(shù)據(jù)中心CPU--Grace CPU超級芯片，它由兩個(gè)CPU組成，通過一個(gè)新的低延遲NVLink-C2C直接連接。該芯片旨在與新的基于Hopper的GPU一起 "服務(wù)于巨型HPC和AI應(yīng)用"，并可用于純CPU系統(tǒng)或GPU加速的服務(wù)器。它有144個(gè)Arm核心和1TB/s的內(nèi)存帶寬。

新的格雷斯CPU "超級芯片 "由兩個(gè)CPU連接而成。

除了硬件和基礎(chǔ)設(shè)施新聞，Nvidia還宣布了其各種企業(yè)人工智能軟件服務(wù)的更新，包括Maxine（提供音頻和視頻增強(qiáng)功能的SDK，旨在為虛擬化身等提供動(dòng)力）和Riva（用于語音識別和文本轉(zhuǎn)語音的SDK）。

該公司還預(yù)告說，它正在建造一臺新的人工智能超級計(jì)算機(jī)，它聲稱在部署時(shí)將是世界上最快的。這臺名為Eos的超級計(jì)算機(jī)將采用Hopper架構(gòu)，包含約4600個(gè)H100 GPU，提供18.4 exaflops的 "AI性能"。該系統(tǒng)將只用于Nvidia的內(nèi)部研究，該公司表示它將在幾個(gè)月后上線。

在過去幾年中，一些對人工智能有濃厚興趣的公司已經(jīng)建立或宣布了他們自己的內(nèi)部 "人工智能超級計(jì)算機(jī)"，用于內(nèi)部研究，包括微軟、特斯拉和Meta。這些系統(tǒng)與普通的超級計(jì)算機(jī)沒有直接的可比性，因?yàn)樗鼈兊倪\(yùn)行精度較低，這使得一些公司能夠通過宣布世界上最快的超級計(jì)算機(jī)而迅速地相互跨越。

然而，在他的主題演講中，Nvidia首席執(zhí)行官黃仁勛確實(shí)表示，Eos在運(yùn)行傳統(tǒng)的超級計(jì)算機(jī)任務(wù)時(shí)，將架設(shè)275 petaFLOPS的計(jì)算量--比 "美國最快的科學(xué)計(jì)算機(jī)"（Summit）快1.4倍。"我們期望Eos成為世界上最快的人工智能計(jì)算機(jī)，"黃說。"Eos將成為我們的OEM和云合作伙伴最先進(jìn)的AI基礎(chǔ)設(shè)施的藍(lán)圖"。