加入技術交流群
8月29日消息，英偉達發(fā)布了其 Blackwell B200芯片首個MLPerf Inference 4.1測試（在Llama 2 70B大模型上）結果，顯示B200的性能是達到了上一代的Hopper H100的4倍，即性能提升了300%。與此同時，AMD也公布了8個MI300X GPU在相同測試中的成績，達到了與英偉達DGX H100（集成了8個H100）相當的成績。這也凸顯了英偉達在AI芯片市場領導地位。
具體來說，單個英偉達Blackwell B200 GPU 在AI推理測試中，可以每秒生成 10,755 個Token，在離線參考測試中可以每秒生成11,264 個Token。作為對比，雖然基于4個Hopper H100 GPU的服務器提供了接近的結果，但是單個H00 GPU每秒生成的Token數僅有B200 GPU的約1/4。這也證明了英偉達的說法，即單個Blackwell B200 GPU的速度達到了單個Hopper H100 GPU 的約3.7至4倍。但我們需要剖析這些數字以更好地理解它們。
首先，英偉達的Blackwell B200 處理器使用的是 FP4 精度，因為其第五代 Tensor Core 支持該格式，而基于 Hopper 的 H100 則僅支持和使用 FP8。MLPerf 指南允許這些不同的格式，但 Blackwell B200中的 FP4 性能使其相比 FP8 吞吐量翻了一番，因此這是第一個需要注意的重要事項。
接下來，英偉達在使用單個 B200 與四個 H100 GPU對比 方面有些不公平。因為擴展從來都不是完美的，因此單個 GPU 往往是每個 GPU 性能的最佳情況。MLPerf 4.1 沒有列出單個 GPU H100 結果，只有一個 B200 結果，因此它們之間的對比并不公平。然而，單個 H200 的性能達到了每秒4,488 個Token，這意味著 B200 在該特定測試中，速度達到了H100的 2.5 倍，即快了150%。
另外，雙方之間HBM容量和帶寬的差異也是關鍵因素，并且存在很大的代際差異。經過測試的 B200 GPU 配備 180GB HBM3E 內存，H100 SXM 配備 80GB HBM（某些配置高達 96GB），H200 配備 96GB HBM3 和高達 144GB 的 HBM3E。具有 96GB HBM3 的單個 H200 在離線模式下僅達到了 3,114 個Token/秒。
因此，數字格式、GPU 數量、內存容量和配置存在潛在差異，這些差異會影響“高達 4 倍”的數字。其中許多差異僅僅是因為 Blackwell B200 是一款具有更新架構的新芯片，而所有這些都影響了其最終性能。
回到配備 141GB HBM3E 內存的英偉達H200，它不僅在以 Llama 2 70B 大型語言模型為特色的生成式 AI 基準測試中也表現(xiàn)出色，而且在數據中心類別的每一項測試中都表現(xiàn)出色。出于顯而易見的原因，在利用 GPU 內存容量的測試中，它的速度明顯快于 H100。
再來看，AMD公布的MLPerf Inference 4.1測試（在Llama 2 70B大模型上）中其MI300X的成績。搭配AMD Genoa CPU及8個MI300X的服務器在該AI推理測試中，性能達到了每秒21028個Token，而在離線參考測試中，性能達到了每秒223514個Token；其搭配AMD Turin CPU及8個MI300X的服務器在AI推理測試中，性能達到了每秒22021個Token，在離線參考測試中，性能達到了24110個Token。
可以看到，這些測試當中，8卡的MI300X系統(tǒng)達到了接近英偉達DGX H100系統(tǒng)的成績，差異大概在2-3%以內。如果看單個MI300X GPU的性能，在服務器中每秒生成2520個Token，離線測試中每秒可生成3062個Token，達到了與英偉達H100 GPU相當的水平。
綜合比較單個AMD MI300X與英偉達H200和B200的MLPerf Inference 4.1測試（在Llama 2 70B大模型上）測試成績來看，英偉達B200的成績也是遙遙領先于MI300X和H200，其性能平均達到了MI300X的4倍左右，也達到了H200的約2.5倍左右。這也進一步凸顯了英偉達B200性能的領先性。
同樣需要指出的是，AMD MI300X配備了更大的192GB HBM，而B200則是180GB HBM，當然，MI300X的TDP功耗要更低，為750W。而英偉達H200和B200的TDP功耗則高達1000W。
編輯：芯智訊-浪客劍
