英偉達最強AI芯片曝重大設(shè)計缺陷，中國特供版意外曝光！
加入技術(shù)交流群
英偉達GPU，一直是OpenAI等大模型公司研發(fā)AI的命脈。
而現(xiàn)在，由于Blackwell GPU的設(shè)計缺陷，英偉達發(fā)貨時間不得不推遲3個月，甚至更長的時間。
Information獨家報道稱，最近幾周，臺積電工程師在為Blackwell芯片量產(chǎn)做準備時，才發(fā)現(xiàn)了缺陷。
就在上周，老黃曾在SIGGRAPH上表示，英偉達已經(jīng)向世界各地客戶遞交Blackwell工程樣本。
他滿臉輕松的樣子，根本沒有暗示任何意想不到的延誤。
，時長00:16
那么，芯片設(shè)計究竟哪里出現(xiàn)了缺陷？
正是這一問題，才導致臺積電生產(chǎn)GB200良率下降。
最新芯片推遲發(fā)貨，意味著對于Meta、谷歌、微軟等科技大廠來說，AI訓練進程將會受到影響。
而且，他們數(shù)據(jù)中心建設(shè)也將不可避免地延期。
據(jù)稱，Blackwell芯片大量出貨，預計要到明年第一季度。
在SemiAnalysis最新報告中，同樣詳細闡述了英偉達面臨的技術(shù)挑戰(zhàn)，推遲發(fā)貨后的時間表，以及新系統(tǒng)MGX GB200A Ultra NVL36。
Blackwell推遲三月，哀聲一片
還記得GTC 2024大會上，老黃手捧最強Blackwell架構(gòu)GPU，向世界宣告了最強的性能野獸。5月，他曾公開表示，「計劃在今年晚些時候，將大量出貨Blackwell架構(gòu)的芯片」。
甚至，他還在財報會議上信心滿滿地表示，「今年我們會看到大量的Blackwell收入」。
英偉達股東們更是對Blackwell GPU寄予厚望。
來自Keybanc Capital Markets的分析師估算，Blackwell芯片將為英偉達數(shù)據(jù)中心帶來，將從2024年的475億美元，提升到2025年超2000億美元的收入。
也就是說，Blackwell系列GPU，對于英偉達未來的銷量和收入起著決定性作用。
卻沒想到，設(shè)計缺陷直接影響了英偉達在今年下半年，以及明年上半年的生產(chǎn)目標。
參與Blackwell芯片設(shè)計內(nèi)部人士透露，英偉達正與臺積電進行測試芯片生產(chǎn)運行，來盡快解決難題。
不過目前，英偉達的彌補措施是，繼續(xù)延長Hopper系列芯片發(fā)貨量，盡可能按計劃在今年下半年加速生產(chǎn)Blackwell GPU。
豪擲數(shù)百億美金，AI訓練延期不僅如此，這個鏈式效應，將對大模型開發(fā)商、數(shù)據(jù)中心云服務提供商，造成了致命的打擊。
為了訓AI，Meta、微軟、谷歌等金主爸爸們，不惜重金斥資數(shù)百億美元，訂購了大量Blackwell芯片。
谷歌已經(jīng)訂購了超40萬個GB200，外加服務器硬件，谷歌訂單成本遠超100億美元。
今年，這家巨頭已經(jīng)在芯片和其他設(shè)備財產(chǎn)上，支出預計約為500億美元，比去年增長了超過50%。
另外，Meta也下了至少100億美元的訂單，而微軟訂單規(guī)模近幾周增加了20%。
不過，這兩家公司的具體訂單規(guī)模，尚未得知。
知情人士透露，微軟計劃到2025年第一季度，要為OpenAI準備5.5萬-6.5萬個GB200芯片。
而且，微軟管理層原計劃在25年1月，向OpenAI提供Blackwell驅(qū)動的服務器。
現(xiàn)在看來，原計劃需要推遲到3月，或者來年春天。
按原本預定的時間，他們將在2025年第一季度開始運行新超算集群。
包括OpenAI在內(nèi)AI公司，都在等著使用新芯片開發(fā)開發(fā)下一代LLM。
因為大模型的訓練還需要多倍的算力，從而能夠更好回答復雜問題、自動化多步任務，生成更逼真的視頻。
可以說，下一代超強AI，就指望著英偉達最新的AI芯片了。
史上罕見的延遲
不過，這次大規(guī)模芯片訂單延遲，不僅在所有人意料之外，更是罕見的。臺積電最初計劃在第三季度，開始量產(chǎn)Blackwell芯片，并從第四季度開始大規(guī)模向英偉達客戶發(fā)貨。
內(nèi)部人士透露，Blackwell芯片現(xiàn)在預計將在第四季度進入量產(chǎn)階段，如果沒有進一步的問題，服務器將在隨后的季度內(nèi)大規(guī)模出貨。
其實，早在2020年，英偉達旗艦GPU早期版本，也因為一些問題不得不延遲。
但當時英偉達所面臨的風險較低，客戶們并不急于訂單到貨，而且從數(shù)據(jù)中心中實現(xiàn)盈利也相對較少。
而這次，在量產(chǎn)前發(fā)現(xiàn)重大設(shè)計缺陷，確實非常罕見。
芯片設(shè)計師通常會與臺積電晶圓廠合作，進行多次生產(chǎn)測試和模擬，以確保產(chǎn)品的可行性和順利的制造過程，然后才會接受客戶的大量訂單。
對于臺積電來說，停止生產(chǎn)線，并重新設(shè)計一個即將量產(chǎn)的產(chǎn)品，也并不多見。他們專為GB200量產(chǎn)做了充分準備，包括分配專門的機器產(chǎn)能。
而現(xiàn)在，在問題解決之前，這些機器人不得不暫時閑置。
設(shè)計缺陷還將影響英偉達NVLink服務器機架的生產(chǎn)和交付，因為負責服務器的公司必須等待新的芯片樣品，才能最終確定服務器機架設(shè)計。
被迫推出重制版
技術(shù)挑戰(zhàn)也讓英偉達不得不緊急開發(fā)一套全新的系統(tǒng)及組件架構(gòu)，比如MGX GB200A Ultra NVL36。而這種全新的設(shè)計，也將對數(shù)十家上下游供應商產(chǎn)生了重大影響。
作為Blackwell系列中技術(shù)最先進的芯片，英偉達在系統(tǒng)層面上對GB200做出了大膽的技術(shù)選擇。
這個72 GPU機架的功率密度達到了前所未有的每機架125kW。相比之下，數(shù)據(jù)中心大多數(shù)架只有12kW到20kW。
如此復雜的系統(tǒng)，也導致了許多與電力傳輸問題、過熱、水冷供應鏈增長、快速斷開的水冷系統(tǒng)泄漏以及各種電路板復雜性問題相關(guān)的問題，并讓一些供應商和設(shè)計師措手不及。
不過，這并不是導致英偉達減少產(chǎn)量或重大路線圖調(diào)整的原因。
真正影響出貨的核心問題是——英偉達Blackwell架構(gòu)的設(shè)計本身。
Blackwell封裝是第一個使用臺積電的CoWoS-L技術(shù)進行大規(guī)模量產(chǎn)設(shè)計的封裝。
CoWoS-L需要使用帶有局部硅互連（LSI）和嵌入橋接芯片的RDL中介層，來橋接封裝內(nèi)各種計算和存儲之間的通信。
相比起目前采用的CoWoS-S技術(shù)，CoWoS-L要復雜得多，但它是未來。
英偉達和臺積電制定了一個非常激進的增長計劃，每季度超過一百萬顆芯片的目標。
但各種各樣的問題，也因此出現(xiàn)了。
其中一個問題是將多個細間距凸點橋嵌入有機中介層和硅中介層中，可能會導致硅芯片、橋、有機中介層和基板之間的熱膨脹系數(shù)（CTE）不匹配，導致翹曲。
橋接芯片的布局需要非常高的精度，特別是涉及到2個主要計算芯片之間的橋接時，因為這些橋接對于支持10 TB/s的芯片間互連至關(guān)重要。
據(jù)傳，一個主要的設(shè)計問題與橋接芯片有關(guān)。同時，頂部幾層全局布線金屬層和芯片的凸點也需要重新設(shè)計。這是導致多個月延遲的主要原因之一。
另一個問題是，臺積電沒有足夠的CoWoS-L產(chǎn)能。
過去幾年中，臺積電建立了大量的CoWoS-S產(chǎn)能，其中英偉達占了大部分份額。
現(xiàn)在，隨著英偉達迅速將需求轉(zhuǎn)向CoWoS-L，臺積電正在為CoWoS-L建造一個新的工廠AP6，并在AP3改造現(xiàn)有的CoWoS-S產(chǎn)能。
為此，臺積電需要改造舊的CoWoS-S產(chǎn)能，否則這些產(chǎn)能將被閑置，而CoWoS-L的增長速度將會更慢。而這個改造過程將使得增長變得非常不均勻。
結(jié)合這兩個問題，臺積電顯然是無法按照英偉達的需求供應足夠的Blackwell芯片。
因此，英偉達幾乎將所有產(chǎn)能都集中在GB200 NVL 36x2和NVL72機架規(guī)模系統(tǒng)上。并取消了搭載B100和B200的HGX計算模組。
作為替代，英偉達將推出一款基于B102芯片并配有4層HBM顯存的Blackwell GPU——B200A，用以滿足中低端AI系統(tǒng)的需求。
有趣的是，這款B102芯片也將用于中國「特供版」的B20上。
由于B102是一個單片計算芯片，因此英偉達不僅可以將其封裝在CoWoS-S上，而且還能讓除臺積電以外的其他供應商進行2.5D封裝，如Amkor、ASE SPIL和三星。
B200A將以700W和1000W的HGX形態(tài)出現(xiàn)，配備高達144GB的HBM3E顯存和高達4 TB/s的帶寬。值得注意的是，這比H200的顯存帶寬要少。
接下來是中級增強版——Blackwell Ultra。
標準的CoWoS-L Blackwell Ultra，即B210或B200 Ultra，不僅在顯存刷新方面達到高達288GB的12層HBM3E，還在FLOPS性能方面提升了高達50%。
B200A Ultra則會有更高的FLOPS，但在顯存上不會進行升級。
除了有和原版B200A一樣的HGX配置外，B200A Ultra還引入了一個全新的MGX NVL 36形態(tài)。
在訓練少于5000個GPU的工作負載時，HGX Blackwell的性能/TCO非常出色。
盡管如此，由于基礎(chǔ)設(shè)施更加靈活，MGX NVL36仍是許多下一代模型的理想選擇。
由于Llama 3 405B已經(jīng)接近H200 HGX服務器的極限，下一代MoE LLAMA 4肯定無法適應單個Blackwell HGX服務器節(jié)點。
再結(jié)合上對于MGX B200A Ultra NVL36價格的估計，SemiAnalysis認為HGX B200A賣得不會太好。
MGX GB200A Ultra NVL36架構(gòu)
MGX GB200A NVL36 SKU是一款風冷40kW/機架服務器，配備36個通過NVLink完全互連的GPU。其中，每個機架將配備9個計算托盤和9個NVSwitch托盤。每個計算托盤為2U，包含1個Grace CPU和4個700W的B200A Blackwell GPU。每個1U NVSwitch托盤則只有1個交換機ASIC，每個交換機ASIC的帶寬為28.8 Tbit/s。
相比之下，GB200 NVL72 / 36x2包含2個Grace CPU和4個1200W的Blackwell GPU。
由于每個機架僅為40kW并可采用空氣冷卻，因此現(xiàn)有的數(shù)據(jù)中心運營商可以在不重新調(diào)整基礎(chǔ)設(shè)施的情況下輕松部署MGX NVL36。
與GB200 NVL72 / 36x2不同的是，4個GPU對1個CPU的比例，意味著每個GPU只能獲得一半的C2C帶寬。
因此，MGX NVL36無法使用C2C互連，而是需要采用集成的ConnectX-8 PCIe交換機來完成GPU與CPU的通信。
此外，與所有其他現(xiàn)有的AI服務器（HGX H100/B100/B200, GB200 NVL72 / 36x2, MI300）不同，每個后端NIC現(xiàn)在將負責2個GPU。
這意味著盡管ConnectX-8 NIC設(shè)計可以提供800G的后端網(wǎng)絡(luò)，但每個GPU只能訪問400G的后端InfiniBand/RoCE帶寬。（同樣也是在GB200 NVL72 / 36x2的一半）
GB200 NVL72/NVL36x2計算托盤的核心是Bianca板，其包含2個Blackwell B200 GPU和1個Grace CPU。
由于每個計算托盤配有2個Bianca板，因此總共會搭載2個Grace CPU和4個1200W的Blackwell GPU。
相比之下，MGX GB200A NVL36的CPU和GPU將會位于不同的PCB上，類似于HGX服務器的設(shè)計。
但與HGX服務器不同的是，每個計算托盤的4個GPU將被細分為2個2-GPU板。每個2-GPU板則搭載了類似Bianca板的Mirror Mezz連接器。
然后，這些Mirror Mezz連接器將用于連接到ConnectX-8中間板，并將ConnectX-8 ASIC與其集成的PCIe交換機連接到GPU、本地NVMe存儲和Grace CPU。
由于ConnectX-8 ASIC距離GPU非常近，因此GPU和ConnectX-8 NIC之間并不需要重新定時器。而HGX H100/B100/B200需要。
此外，由于Grace CPU和Blackwell GPU之間沒有C2C互連，因此Grace CPU會位于一個完全獨立的PCB上，即CPU主板。該主板將包含BMC連接器、CMOS電池、MCIO連接器等。
每個GPU的NVLink帶寬將為每個方向900GB/s，這與GB200 NVL72 / 36x2相同。按每FLOP計算，這顯著增加了GPU到GPU的帶寬，使MGX NVL36在某些工作負載中更具優(yōu)勢。
由于只有一層交換機連接36個GPU，因此僅需9個NVSwitch ASIC即可提供無阻塞網(wǎng)絡(luò)。
此外，由于每個1U交換托盤只有1個28.8Tbit/s的ASIC，因此非常容易進行空氣冷卻。比如Quantum-2 QM9700這樣的25.6Tbit/s 1U交換機就可以。
在后端網(wǎng)絡(luò)上，由于每個計算托盤只有2個800G端口，因此它將使用2軌優(yōu)化的行尾網(wǎng)絡(luò)。
對于每8個GB200A NVL36機架，將有2個Quantum-X800 QM3400交換機。
在每個GPU 700W的情況下，GB200A NVL36每個機架的功耗可能在40kW左右，即2U空間散熱4kW。
如此一來，將需要專門設(shè)計的散熱片和高速風扇來進行空氣冷卻。
部署MGX GB200A NVL 36的挑戰(zhàn)
由于GB200A NVL36完全依靠風冷，而且在2U機箱前端除了PCIe形態(tài)的NIC外，還要有一個專用的PCIe交換機，這將顯著增加熱管理的挑戰(zhàn)。因此，在GB200A NVL36上進行定制后端NIC基本上是不可能的。
由于許多機器學習依賴項是為x86 CPU編譯和優(yōu)化的，且Grace CPU和Blackwell GPU位于單獨的PCB上，因此很可能還會有一個x86 + B200A NVL36版本。
不過，x86 CPU雖然可以提供更高的峰值性能，但功耗也會相應高出100W，從而極大增加了OEM的熱管理挑戰(zhàn)。
此外，考慮到Grace CPU的銷量問題，即便英偉達推出了x86 B200A NVL36解決方案，他們也會push客戶去選擇GB200A NVL36。
當然，GB200A NVL36也有自己的賣點——每機架40kW的風冷系統(tǒng)。
畢竟，很多客戶并不能負擔得起每機架約125 kW的GB200 NVL72（或總功耗超過130kW的36x2）所需的液冷和電力基礎(chǔ)設(shè)施。
H100的TDP為700W，目前使用的是4U高的3DVC，而1000W的H200使用的是6U高的3DVC。
相比之下，MGX B200A NVL36的TDP也是700W但機箱只有2U，空間相當受限。因此將需要一個水平擴展的陽臺狀散熱片來增加散熱片的表面積。
除了需要更大的散熱片外，風扇還需要提供比GB200 NVL72 / 36x2 2U計算托盤或HGX 8 GPU設(shè)計更強的氣流。
根據(jù)估計，在40kW機架中，15%到17%的總系統(tǒng)功率將用于內(nèi)部機箱風扇。相比之下，HGX H100的風扇也只消耗總系統(tǒng)功率的6%到8%。
由于需要大量的風扇功率來使 MGX GB200A NVL36 正常工作，這是一種效率極低的設(shè)計。
為什么取消GB200A NVL64
在英偉達最終確定MGX GB200A NVL36之前，他們也在嘗試設(shè)計一個空氣冷卻的NVL64機架——功耗60kW，搭載64個通過NVLink完全互連的GPU。然而，在經(jīng)過廣泛的工程分析之后，SemiAnalysis認為這個產(chǎn)品并不可行，且不會上市。
在提議的NVL64 SKU中，有16個計算托盤和4個NVSwitch托盤。每個計算托盤是2U，包含1個Grace CPU和4個700W的Blackwell GPU，就像MGX GB200A NVL36一樣。
主要的修改在于NVSwitch托盤——英偉達沒有將GB200每個托盤的2個NVSwitch減少到1個，而是嘗試將其增加到4個ASIC交換機。
顯然，僅靠空氣冷卻功耗如此之高的龐然大物幾乎是不可能的。（英偉達提出的是60kW，SemiAnalysis估算是70kW）
這通常需要使用后門熱交換器，但這破壞了空氣冷卻機架架構(gòu)的意義，因為仍然依賴于液冷供應鏈。此外，這種解決方案仍然需要大多數(shù)數(shù)據(jù)中心進行設(shè)施級別的改造，以便將冷卻水輸送到后門熱交換器。
另一個非常棘手的熱問題是NVSwitch托盤將在1個1U機箱中包含4個28.8Tbit/s的ASIC交換機，需要近1500W的散熱功率。
單獨來看，1U機箱實現(xiàn)1500W并不困難。但是，當考慮到從ASIC交換機到背板連接器的Ultrapass飛線會阻擋大量氣流，冷卻挑戰(zhàn)就變得非常大了。
鑒于空氣冷卻的MGX NVL機架需要以極快的速度推向市場，英偉達試圖在設(shè)計開始后6個月內(nèi)就交付產(chǎn)品。然而，對于一個已經(jīng)資源緊張的行業(yè)來說，設(shè)計新的交換托盤和供應鏈是非常困難的。
GB200A NVL64的另一個主要問題是每個機架有64個800G后端端口，但每個XDR Quantum-X800 Q3400交換機搭載的是72個800G下游端口。也就是說，每個交換機將有16個800G端口空置。
在昂貴的后端交換機上有空置端口會顯著影響網(wǎng)絡(luò)性能和總擁有成本，因為交換機非常昂貴，尤其是像Quantum-X800這樣高端口密度的模塊化交換機。
此外，在同一個NVLink域中使用64個GPU并不理想。
表面上看，64是一個很好的數(shù)字，因為它有2、4、8、16和32作為公因數(shù)，這對于不同的并行配置來說非常合適。
例如，張量并行TP=8，專家并行EP=8，或TP=4，完全分片數(shù)據(jù)并行FSDP=16。
不幸的是，由于硬件的不可靠性，英偉達建議每個NVL機架至少保留1個計算托盤作為備用，以便在維護時將GPU下線并作為熱備份使用。
如果每個機架沒有至少1個計算托盤處于熱備用狀態(tài)，即使是1個GPU故障也會導致整個機架被迫停用相當長的時間。這類似于在8-GPU的HGX H100服務器上，只要有1個GPU故障，就會迫使所有8個H100停用。
如果保留至少一個計算托盤作為熱備份，意味著每個機架只有60個GPU能夠處理工作負載。這樣一來，剛剛提到的那些優(yōu)勢就不復存在了。
而NVL36×2或NVL72則搭載了72個GPU，也就是說，用戶不僅可以把2個計算托盤作為熱備用，而且每個機架上仍有64個GPU可供使用。
GB200A NVL36則可以有1個計算托盤作為熱備用，此時有2、4、8、16作為并行方案的公因數(shù)。
對供應鏈的影響
同時，Hopper的出貨量將在2024年第四季度至2025年第一季度有所增加。
此外，GPU的訂單將在下半年從HGX Blackwell和GB200 NVL36x2轉(zhuǎn)移到MGX GB200A NVL36上。
這將影響所有的ODM和組件供應商，因為出貨和收入計劃將在2024年第三季度至2025年第二季度發(fā)生顯著變化。
來源：新智元
*博客內(nèi)容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點，如有侵權(quán)請聯(lián)系工作人員刪除。
