新聞中心

EEPW首頁(yè) > 智能計(jì)算 > 業(yè)界動(dòng)態(tài) > 英偉達(dá) Q3 狂賣 50 萬 GPU,AI 爆火背后是顯卡的爭(zhēng)奪

英偉達(dá) Q3 狂賣 50 萬 GPU,AI 爆火背后是顯卡的爭(zhēng)奪

作者: 時(shí)間:2023-12-04 來源:新智元 收藏

據(jù)統(tǒng)計(jì),在第三季度大約賣出了 50 萬臺(tái) H100 和 A100 ,大語(yǔ)言模型爆火的背后,是眾組織機(jī)構(gòu)對(duì) 的爭(zhēng)奪,是近千噸的顯卡出貨量。

本文引用地址:http://butianyuan.cn/article/202312/453518.htm

據(jù)市場(chǎng)跟蹤公司 Omdia 的統(tǒng)計(jì)分析,在第三季度大約賣出了 50 萬臺(tái) H100 和 A100 !

此前,Omdia 通過英偉達(dá)第二季度的銷售額,估計(jì)其大概賣出了 900 噸 GPU!

大語(yǔ)言模型火爆的背后,英偉達(dá)建立起了強(qiáng)大的顯卡帝國(guó)。

的大潮之下,GPU 成為了各機(jī)構(gòu)、公司,甚至是國(guó)家在全球范圍內(nèi)爭(zhēng)奪的對(duì)象。

在本財(cái)年第三季度,Nvidia 在數(shù)據(jù)中心硬件上獲得了 145 億美元的收入,比去年同期幾乎翻了兩番。

—— 這顯然得益于隨著和高性能計(jì)算(HPC)的發(fā)展而變得炙手可熱的 H100 GPU。

市場(chǎng)跟蹤公司 Omdia 表示,Nvidia 售出了近 50 萬個(gè) A100 和 H100 GPU,龐大的需求量也導(dǎo)致了,基于 H100 的服務(wù)器需要 36~52 周的時(shí)間才能交付。

從上圖可以看出,Meta 和微軟是最大買家。它們各自采購(gòu)了多達(dá) 15 萬個(gè) H100 GPU,大大超過了谷歌、亞馬遜、甲骨文和騰訊采購(gòu)的數(shù)量(各 5 萬個(gè))。

值得注意的是,大多數(shù)服務(wù)器 GPU 都供應(yīng)給了超大規(guī)模云服務(wù)提供商。而服務(wù)器原始設(shè)備制造商(如戴爾、聯(lián)想、HPE)目前還無法獲得足夠的 AI 和 HPC GPU。

Omdia 預(yù)計(jì),到 2023 年第四季度,Nvidia 的 H100 和 A100 GPU 的銷量將超過 50 萬臺(tái)。

不過,幾乎所有大量采購(gòu) Nvidia H100 GPU 的公司都在為、HPC 和視頻工作負(fù)載開發(fā)定制自己的芯片。

因此,隨著他們轉(zhuǎn)向使用自己的芯片,對(duì) Nvidia 硬件的采購(gòu)量可能會(huì)逐漸減少。

上圖統(tǒng)計(jì)了服務(wù)器的情況,2023 年服務(wù)器出貨量同比下跌了 17% 到 20%,而服務(wù)器收入則同比上漲了 6% 到 8%。

Omdia 云和數(shù)據(jù)中心研究實(shí)踐總監(jiān) Vlad Galabov 和數(shù)據(jù)中心計(jì)算和網(wǎng)絡(luò)首席分析師 Manoj Sukumaran 預(yù)計(jì),到 2027 年,服務(wù)器市場(chǎng)價(jià)值將達(dá)到 1956 億美元,比十年前翻一番多。

隨著大公司紛紛轉(zhuǎn)向超異構(gòu)計(jì)算,或使用多協(xié)處理器來優(yōu)化服務(wù)器配置,服務(wù)器處理器和協(xié)處理器的需求將持續(xù)增長(zhǎng)。

目前,就運(yùn)行人工智能訓(xùn)練和推理的服務(wù)器而言,用于大型語(yǔ)言模型訓(xùn)練的最流行服務(wù)器是配置了 8 個(gè) H100 / A100 GPU 的 Nvidia DGX 服務(wù)器,以及亞馬遜的配置了 16 個(gè)定制協(xié)處理器(Inferentia 2)的 AI 推理服務(wù)器。

而對(duì)于配備了許多定制協(xié)處理器的視頻轉(zhuǎn)碼服務(wù)器,最流行的是擁有 20 個(gè) VCU(視頻編碼單元)的谷歌視頻轉(zhuǎn)碼服務(wù)器,以及使用了 12 個(gè)可擴(kuò)展視頻處理器的 Meta 視頻處理服務(wù)器。

隨著一些應(yīng)用的需求逐漸成熟,構(gòu)建優(yōu)化定制處理器的成本效益會(huì)越來越高。

媒體和人工智能會(huì)是超異構(gòu)計(jì)算的早期受益者,之后數(shù)據(jù)庫(kù)和網(wǎng)絡(luò)服務(wù)等其他工作負(fù)載也會(huì)出現(xiàn)類似的優(yōu)化。

Omdia 的報(bào)告指出,高度配置的人工智能服務(wù)器的增加正在推動(dòng)數(shù)據(jù)中心物理基礎(chǔ)設(shè)施的發(fā)展。

例如,今年上半年的機(jī)架配電收入比去年增長(zhǎng)了 17%,在需要液體冷卻解決方案的趨勢(shì)之下,數(shù)據(jù)機(jī)柜熱管理收入有望在 2023 年實(shí)現(xiàn) 17% 的增長(zhǎng)。

另外,隨著生成式人工智能服務(wù)的普及,企業(yè)將廣泛采用 AI,而當(dāng)前人工智能部署速度的瓶頸可能是電力供應(yīng)。

熱情的買家們

除了上面提到的巨頭們,「民間」也有各種組織和公司紛紛采購(gòu) NVIDIA 的 H100,以發(fā)展自己的業(yè)務(wù),或者投資未來。

Bit Digital 是一家提供數(shù)字資產(chǎn)和云計(jì)算服務(wù)的可持續(xù)數(shù)字基礎(chǔ)設(shè)施平臺(tái),總部位于紐約。公司已與客戶簽訂條款,開展 Bit Digital AI 業(yè)務(wù),為客戶的 GPU 加速工作負(fù)載提供支持。

根據(jù)協(xié)議,Bit Digital 將為客戶提供最少 1024 個(gè)、最多 4096 個(gè) GPU 的租賃服務(wù)。

同時(shí),Bit Digital 公司已同意購(gòu)買 1056 塊 NVIDIA H100 GPU,并已支付了首筆定金。

由美國(guó)公司 Del Complex 創(chuàng)建的 BlueSea Frontier Compute Cluster(BSFCC)本質(zhì)上是一艘巨大的駁船,包含 10000 個(gè) Nvidia H100 GPU,總價(jià)值 5 億美元。

據(jù)路透社報(bào)道,一家名為 Voltage Park 的非營(yíng)利組織以 5 億美元的價(jià)格收購(gòu)了 24000 個(gè) Nvidia H100 芯片。

Volatage Park 是一家人工智能云計(jì)算組織,由億萬富翁 Jed McCaleb 資助,計(jì)劃為人工智能項(xiàng)目租賃計(jì)算能力。

Voltage Park 提供的 GPU 價(jià)格低至每 GPU 每小時(shí) 1.89 美元。按需租賃的客戶可以租用 1 到 8 個(gè) GPU,希望租用更多 GPU 的用戶則需要保證一定的租賃期限。

與之相比,亞馬遜通過 8 臺(tái) H100 的 P5 節(jié)點(diǎn)為用戶提供按需服務(wù),但價(jià)格要貴得多。

以 8 卡的節(jié)點(diǎn)來計(jì)算,AWS 的收費(fèi)為每小時(shí) 98.32 美元,而 Voltage Park 的收費(fèi)為每小時(shí) 15.12 美元。

在人工智能的熱潮之下,英偉達(dá)也是雄心勃勃。

據(jù)英國(guó)《金融時(shí)報(bào)》報(bào)道,這家硅谷芯片巨頭希望提高 H100 處理器的產(chǎn)量,目標(biāo)是明年出貨 150 萬至 200 萬臺(tái)。

由于 ChatGPT 等大型語(yǔ)言模型的爆火,今年 5 月,Nvidia 市值飆升,成功躋身萬億美元俱樂部。

作為開發(fā)大型語(yǔ)言模型的基礎(chǔ)組件,GPU 成為了人工智能公司,甚至是國(guó)家在全球范圍內(nèi)爭(zhēng)奪的對(duì)象。

《金融時(shí)報(bào)》稱,沙特阿拉伯和阿聯(lián)酋已經(jīng)購(gòu)買了數(shù)千臺(tái)英偉達(dá)的 H100 處理器。

與此同時(shí),有富裕資金的風(fēng)險(xiǎn)投資公司,也忙著為投資組合中的初創(chuàng)公司購(gòu)買 GPU,以建立自己的人工智能模型。

GitHub 前首席執(zhí)行官 Nat Friedman 和 Daniel Gross 曾支持過 GitHub、Uber 和其他許多成功的初創(chuàng)公司,他們購(gòu)買了數(shù)千個(gè) GPU,并建立了自己的人工智能云服務(wù)。

這個(gè)名為仙女座集群(Andromeda Cluster)的系統(tǒng),擁有 2512 個(gè) H100 GPU,能夠在大約 10 天內(nèi)訓(xùn)練出一個(gè) 650 億參數(shù)的人工智能模型。雖然不是目前最大的模型,但也相當(dāng)可觀。

盡管只有兩位投資人支持的初創(chuàng)企業(yè),才能使用這些資源。此舉還是受到了好評(píng)。

Anthropic 的聯(lián)合創(chuàng)始人 Jack Clark 表示,個(gè)人投資者在支持計(jì)算密集型初創(chuàng)企業(yè)方面所做的工作超過了大多數(shù)政府。

相比于第三季度的 145 億,第二季度,Nvidia 售出了價(jià)值 103 億美元的數(shù)據(jù)中心硬件。

對(duì)于這個(gè)成績(jī),Omdia 曾作出估計(jì):一個(gè)帶有散熱器的 Nvidia H100 計(jì)算 GPU 的平均重量超過 3 公斤(6.6 磅),而 Nvidia 在第二季度出貨了超過 30 萬臺(tái) H100,算下來總重量超過 900 噸(180 萬磅)。

讓我們把這 900 噸具象化一點(diǎn),它相當(dāng)于:

4.5 架波音 747

11 架航天飛機(jī)軌道飛行器

215827 加侖水

299 輛福特 F150

181818 臺(tái) PlayStation 5s

32727 只金毛獵犬

有網(wǎng)友對(duì)此表示:

不過也有媒體覺得這個(gè)估計(jì)不太準(zhǔn)確。因?yàn)?Nvidia H100 有三種不同的外形,重量也各不相同。

Nvidia H100 PCIe 顯卡重 1.2 千克,而帶散熱片的 OAM 模塊的最高重量為 2 千克。

假設(shè) Nvidia H100 出貨量的 80% 是模塊,20% 是顯卡,那么單個(gè) H100 的平均重量約為 1.84 千克左右。

不管怎樣吧,這都是一個(gè)驚人的數(shù)字。而且英偉達(dá)在第三季度的銷量是顯著增長(zhǎng)的,如果按照 50 萬塊 GPU 每塊 2 千克,那么總重量就是 1000 噸。

—— 現(xiàn)在的顯卡都是按噸賣的了,不知道大家怎么看?




關(guān)鍵詞: 英偉達(dá) GPU 人工智能

評(píng)論


相關(guān)推薦

技術(shù)專區(qū)

關(guān)閉