英偉達(dá)發(fā)布新一代 AI 芯片 H200

當(dāng)?shù)貢r(shí)間 11 月 13 日，英偉達(dá)宣布推出 NVIDIA HGX? H200，為全球領(lǐng)先的 AI 計(jì)算平臺(tái)帶來(lái)強(qiáng)大動(dòng)力。該平臺(tái)基于 NVIDIA Hopper? 架構(gòu)，配備 NVIDIA H200 Tensor Core GPU 和高級(jí)內(nèi)存，可處理生成 AI 和高性能計(jì)算工作負(fù)載的海量數(shù)據(jù)。H200 將于 2024 年第二季度開始向全球系統(tǒng)制造商和云服務(wù)提供商供貨。

NVIDIA H200 是首款提供 HBM3e 的 GPU，HBM3e 是更快、更大的內(nèi)存，可加速生成式 AI 和大型語(yǔ)言模型，同時(shí)推進(jìn) HPC 工作負(fù)載的科學(xué)計(jì)算。借助 HBM3e，NVIDIA H200 以每秒 4.8 TB 的速度提供 141GB 內(nèi)存，與前身 NVIDIA A100 相比，容量幾乎翻倍，帶寬增加 2.4 倍。

H200、H100、A100 性能對(duì)比，來(lái)源：anandtech

英偉達(dá)超大規(guī)模和 HPC 副總裁 Ian Buck 表示：「要通過(guò)生成式 AI 和 HPC 應(yīng)用程序創(chuàng)建智能，必須使用大型、快速的 GPU 內(nèi)存高速有效地處理大量數(shù)據(jù)。借助 NVIDIA H200，業(yè)界領(lǐng)先的端到端 AI 超級(jí)計(jì)算平臺(tái)能夠更快地解決世界上一些最重要的挑戰(zhàn)?！?/span>

NVIDIA H200 將應(yīng)用于具有四路和八路配置的 NVIDIA HGX H200 服務(wù)器主板，這些主板與 HGX H100 系統(tǒng)的硬件和軟件兼容。它還可用于 8 月份發(fā)布的采用 HBM3e 的 NVIDIA GH200 Grace Hopper? 芯片。

英偉達(dá)表示，H200 可以部署在各種類型的數(shù)據(jù)中心中，包括本地、云、混合云和邊緣。NVIDIA 的全球合作伙伴服務(wù)器制造商生態(tài)系統(tǒng)（包括華擎 Rack、華碩、戴爾科技、Eviden、技嘉、慧與、英格拉科技、聯(lián)想、QCT、Supermicro、緯創(chuàng)資通和緯穎科技）可以使用 H200 更新其現(xiàn)有系統(tǒng)。

除了 CoreWeave、Lambda 和 Vultr 之外，從 2024 年開始，亞馬遜網(wǎng)絡(luò)服務(wù)、谷歌云、微軟 Azure 和甲骨文云基礎(chǔ)設(shè)施將成為首批部署基于 H200 實(shí)例的云服務(wù)提供商。

HGX H200 由 NVIDIA NVLink? 和 NVSwitch? 高速互連提供支持，可為各種應(yīng)用工作負(fù)載提供最高性能，包括針對(duì)超過(guò) 1750 億個(gè)參數(shù)的最大模型的 LLM 訓(xùn)練和推理。

八路 HGX H200 提供超過(guò) 32 petaflops 的 FP8 深度學(xué)習(xí)計(jì)算和 1.1TB 聚合高帶寬內(nèi)存，可在生成式 AI 和 HPC 應(yīng)用中實(shí)現(xiàn)最高性能。

當(dāng)與具有超快 NVLink-C2C 互連的 NVIDIA Grace? CPU 配合使用時(shí)，H200 創(chuàng)建了帶有 HBM3e 的 GH200 Grace Hopper 超級(jí)芯片——一種旨在服務(wù)于大規(guī)模 HPC 和 AI 應(yīng)用的集成模塊。

富國(guó)銀行 (Wells Fargo) 分析師 Aaron Rakers 說(shuō)，H200 是英偉達(dá)首款采用 HBM3e 內(nèi)存的圖形處理器，這使其擁有更高的帶寬和容量，并凸顯出了內(nèi)存在下一代人工智能工作負(fù)載中的重要性。

英偉達(dá)表示，H200 Tensor Core GPU 具有改變游戲規(guī)則的性能和內(nèi)存功能，可增強(qiáng)生成式 AI 和高性能計(jì)算 (HPC) 工作負(fù)載。

H200 基于 NVIDIA Hopper 架構(gòu)，是首款以每秒 4.8 TB/s 的速度提供 141 GB HBM3e 內(nèi)存的 GPU，幾乎是 NVIDIA H100 Tensor Core GPU 容量的兩倍，內(nèi)存帶寬提高了 1.4 倍。H200 更大、更快的內(nèi)存可加速生成式 AI 和 LLM，同時(shí)以更高的能效和更低的總擁有成本推進(jìn) HPC 工作負(fù)載的科學(xué)計(jì)算。

在處理 Llama2 等 LLM 時(shí)，H200 的推理速度比 H100 GPU 提高了 2 倍。

對(duì)于模擬、科學(xué)研究和人工智能等內(nèi)存密集型 HPC 應(yīng)用，H200 更高的內(nèi)存帶寬可確保高效地訪問(wèn)和操作數(shù)據(jù)，與 CPU 相比，獲得結(jié)果的時(shí)間最多可加快 110 倍。

英偉達(dá)表示，H200 的能源效率和 TCO 達(dá)到了新的水平。H200 在性能增長(zhǎng)的同時(shí)，功率配置與 H100 相同。人工智能工廠和超級(jí)計(jì)算系統(tǒng)不僅速度更快，而且更環(huán)保，提供了推動(dòng)人工智能和科學(xué)界向前發(fā)展的經(jīng)濟(jì)優(yōu)勢(shì)。

英偉達(dá)表示，NVIDIA Hopper 架構(gòu)比其前身實(shí)現(xiàn)了前所未有的性能飛躍，并通過(guò) H100 的持續(xù)軟件增強(qiáng)（包括最近發(fā)布的 NVIDIA TensorRT-LLM?等強(qiáng)大的開源庫(kù)）繼續(xù)提高標(biāo)準(zhǔn)。