NVIDIA Hopper GPU于AI推論基準(zhǔn)創(chuàng)世界紀(jì)錄

NVIDIA H100 Tensor核心GPU在MLPerf人工智能（AI）基準(zhǔn)檢驗(yàn)初登場，便在各項(xiàng)推論作業(yè)負(fù)載創(chuàng)下世界紀(jì)錄，其效能較前一代GPU高出達(dá)4.5倍。此測(cè)試結(jié)果顯示，對(duì)于先進(jìn)AI模型有最高效能需求的用戶來說，Hopper就是首選產(chǎn)品。
 

NVIDIA Hopper在MLPerf人工智能推論基準(zhǔn)檢驗(yàn)初登場即創(chuàng)新世界紀(jì)錄

此外，NVIDIA A100 Tensor核心GPU及用于開發(fā)AI機(jī)器人的NVIDIA Jetson AGX Orin模塊在影像和語音識(shí)別、自然語言處理和推薦系統(tǒng)等所有MLPerf測(cè)試項(xiàng)目中，整體推論表現(xiàn)持續(xù)領(lǐng)先群雄。
亦稱為Hopper的H100，在本輪測(cè)試的六個(gè)神經(jīng)網(wǎng)絡(luò)中提高單一加速器的效能標(biāo)準(zhǔn)。它在獨(dú)立服務(wù)器和脫機(jī)的情況下，在傳輸量和速度皆展現(xiàn)領(lǐng)先優(yōu)勢(shì)。NVIDIA Hopper架構(gòu)的效能較NVIDIA Ampere架構(gòu)的GPU高出4.5倍，在MLPerf測(cè)試結(jié)果中持續(xù)保持全面領(lǐng)先地位。
Hopper在熱門的BERT自然語言處理模型上的出色表現(xiàn)，部分要?dú)w功于它的Transformer引擎。BERT自然語言處理模型是MLPerf AI模型中規(guī)模最大、對(duì)效能要求最高的模型之一。這些推論基準(zhǔn)檢驗(yàn)是H100 GPU的首次公開展示，此產(chǎn)品將在今年底上市。H100 GPU將參與MLPerf日后的訓(xùn)練測(cè)試。
各大云端服務(wù)供貨商與系統(tǒng)制造商已采用的NVIDIA A100 GPU，在最新的AI推論測(cè)試中依舊位居主流效能的領(lǐng)導(dǎo)地位。在數(shù)據(jù)中心與邊緣運(yùn)算的類別和情境中，A100 GPU的成績比其他參與者提交的測(cè)試結(jié)果都更為突出。A100在六月的MLPerf訓(xùn)練基準(zhǔn)檢驗(yàn)中一馬當(dāng)先，展現(xiàn)處理整個(gè)AI工作流程的出色能力。
A100 GPU自2020年7月首次參與MLPerf基準(zhǔn)檢驗(yàn)以來，隨著NVIDIA AI軟件持續(xù)改善，效能已經(jīng)提高6倍。NVIDIA AI是在數(shù)據(jù)中心與邊緣運(yùn)算中，唯一能夠運(yùn)行所有MLPerf推論作業(yè)負(fù)載和情境的平臺(tái)。
NVIDIA GPU能夠在各大AI模型上提供頂尖效能，讓用戶成為真正的贏家。他們?cè)谡鎸?shí)世界中的應(yīng)用通常會(huì)用到多種神經(jīng)網(wǎng)絡(luò)。例如，AI應(yīng)用程序可能要理解用戶的口語請(qǐng)求、對(duì)影像進(jìn)行分類、提出建議，然后用聽起來像人的聲音做出回應(yīng)。每一步都要用到不同類型的AI模型。
MLPerf基準(zhǔn)檢驗(yàn)涵蓋這些AI模型及其它熱門的AI作業(yè)負(fù)載和情境，像是計(jì)算機(jī)視覺、自然語言處理、推薦系統(tǒng)、語音識(shí)別等。這些測(cè)試確保用戶能獲得可靠且靈活的效能來進(jìn)行部署。
MLPerf基準(zhǔn)檢驗(yàn)具透明度且客觀，也因此用戶仰賴這些測(cè)試結(jié)果以做出明智的采購決策。亞馬遜（Amazon）、Arm、百度（Baidu）、Google、哈佛大學(xué)（Harvard）、英特爾（Intel）、Meta、微軟（Microsoft）、史丹佛大學(xué)（Stanford）與多倫多大學(xué)（University of Toronto）等眾多業(yè)者與學(xué)術(shù)單位皆對(duì)MLPerf表達(dá)支持。
NVIDIA Orin運(yùn)行MLPerf邊緣運(yùn)算類別的每一項(xiàng)基準(zhǔn)檢驗(yàn)，多項(xiàng)表現(xiàn)更勝于其他低功耗系統(tǒng)單芯片。相較于四月時(shí)首次參與MLPerf測(cè)試，這次的能源效率提高多達(dá)50%。在前一回合的測(cè)試中，Orin的運(yùn)行速度比上一代Jetson AGX Xavier模塊快5倍，而能源效率平均高出2倍。
Orin將NVIDIA Ampere架構(gòu)GPU與強(qiáng)大的Arm CPU核心叢集整合到單一芯片內(nèi)。已可在用于開發(fā)機(jī)器人和自主系統(tǒng)的NVIDIA Jetson AGX Orin開發(fā)工具包及生產(chǎn)模塊中取得，并支持完整的NVIDIA AI軟件堆棧，包括用于自動(dòng)駕駛車（NVIDIA Hyperion）、醫(yī)療設(shè)備（Clara Holoscan）與機(jī)器人（Isaac）的多個(gè)平臺(tái)。
從MLPerf的測(cè)試結(jié)果便能看出NVIDIA AI獲得業(yè)界最廣泛的機(jī)器學(xué)習(xí)生態(tài)系支持。在本輪測(cè)試中，有超過七十份測(cè)試結(jié)果是透過NVIDIA的平臺(tái)運(yùn)行，像是微軟Azure即提交在其云端服務(wù)中運(yùn)行NVIDIA AI的成果。
此外，由華碩（ASUS）、戴爾科技集團(tuán)（Dell Technologies）、富士通（Fujitsu）、技嘉（GIGABYTE）、慧與科技（Hewlett Packard Enterprise）、聯(lián)想（Lenovo）及美超威（Supermicro）等十家系統(tǒng)制造商推出的19款NVIDIA認(rèn)證系統(tǒng)亦參與本次測(cè)試。
它們的測(cè)試結(jié)果顯示，無論是在云端或在用戶自己的數(shù)據(jù)中心服務(wù)器上，NVIDIA AI都能為用戶提供絕佳效能。NVIDIA的合作伙伴深知，MLPerf是一項(xiàng)讓客戶用于評(píng)估AI平臺(tái)及供貨商的寶貴工具，因此才會(huì)加入測(cè)試。最新一輪的結(jié)果顯示，他們?nèi)缃裉峁┙o用戶的出色效能，將隨著NVIDIA平臺(tái)的發(fā)展而更將持續(xù)強(qiáng)化。
于此次測(cè)試中使用的各種軟件公開于MLPerf資源庫，每個(gè)人都能取得這些世界級(jí)的成果。我們不斷將優(yōu)化結(jié)果放入NGC（GPU加速軟件目錄）的容器中。用來為本次提交的AI推論測(cè)試結(jié)果進(jìn)行優(yōu)化的NVIDIA TensorRT也能在NGC中取得。