打破英偉達(dá)霸權(quán)，Meta放了個大招！

我們從一開始就說過，開放計算項(xiàng)目（ Open Compute Project）的發(fā)起者 Meta Platforms 不可能想從 Nvidia 購買完整的超級計算機(jī)系統(tǒng)，以推進(jìn)其人工智能研究并將更新的大型語言模型和推薦引擎投入生產(chǎn)。以 Facebook 為核心平臺的 Meta Platforms 喜歡設(shè)計和構(gòu)建自己的東西，但由于缺乏兼容 OAM 的 GPU 和矩陣加速器而措手不及，他們別無選擇，只能購買使用InfiniBand模式互連的 N-1 代 DGX SuperPOD系統(tǒng)。

現(xiàn)在，當(dāng) Meta Platforms 展望社交網(wǎng)絡(luò)內(nèi)人工智能的未來以及支撐計算引擎的互連時，他們意識到，必須以令人難以置信的規(guī)模結(jié)合在一起，才能與超大規(guī)模和云構(gòu)建器競爭對手競爭，于是，他們又將目光投向了以太網(wǎng)互連（Ethernet interconnects）。這就是為什么Meta Platforms 成為超以太網(wǎng)聯(lián)盟（ Ultra Ethernet Consortium）的創(chuàng)始公司之一。

這個聯(lián)盟是由以太網(wǎng) ASIC 供應(yīng)商和交換機(jī)制造商組成的組織，他們并不是真的想相互合作，而是在受到互聯(lián)網(wǎng)巨頭及其新的人工智能新貴競爭迫使的情況下，他們想去找到一種方法，讓以太網(wǎng)可以與InfiniBand一樣好，也能像后者一樣適用于 AI 和 HPC 網(wǎng)絡(luò)，但使其擴(kuò)展到其運(yùn)行所需的規(guī)模。

對于今天的Meta Platforms來說，這意味著是大約 32,000 個計算引擎，然后是數(shù)十萬臺設(shè)備，然后在不久的將來的某些時候?qū)⒊^ 100 萬臺設(shè)備。

從當(dāng)前看來，擁有這個想法的企業(yè)包括了交換機(jī) ASIC 領(lǐng)域的 Broadcom、Cisco Systems 和 Hewlett Packard Enterprise（我們認(rèn)為很快還有 Marvell），云巨頭中的 Microsoft 和 Meta Platforms，以及交換機(jī)制造商中的 Cisco、HPE 和 Arista Networks。

他們正在團(tuán)結(jié)在一起，面對一個共同的敵人——InfiniBand。他們的宗旨則是——敵人的敵人就是朋友。

歸根到底，這是一條很簡單的數(shù)學(xué)題。

InfiniBand很好，但也貴

在 21世紀(jì)的前十年，當(dāng)超大規(guī)模企業(yè)和云構(gòu)建商真正開始構(gòu)建大規(guī)?；A(chǔ)設(shè)施時，任何分布式系統(tǒng)的網(wǎng)絡(luò)部分（包括交換機(jī)、網(wǎng)絡(luò)接口和電纜）只占整個系統(tǒng)成本的不到 10%。

而當(dāng)?shù)谝淮?100 Gb/秒設(shè)備問世時，由于設(shè)計不正確，成本非常高，很快網(wǎng)絡(luò)成本就占到集群成本的 15% 或更多。隨著價格實(shí)惠的 100 Gb/秒以太網(wǎng)的出現(xiàn)，以及現(xiàn)在速度達(dá)到 200 Gb/秒和 400 Gb/秒的速度，成本現(xiàn)在再次降至 10% 以下，但僅限于運(yùn)行應(yīng)用程序的前端網(wǎng)絡(luò)。

對于超大規(guī)模企業(yè)和云構(gòu)建者之間的人工智能訓(xùn)練和推理基礎(chǔ)設(shè)施，Nvidia 會簡單明了地告訴您，網(wǎng)絡(luò)占集群成本的 20%。Nvidia 聯(lián)合創(chuàng)始人兼首席執(zhí)行官黃仁勛解釋說：“InfiniBand 在相同帶寬下的大規(guī)模性能比以太網(wǎng)高出 20%，因此“InfiniBand 實(shí)際上是免費(fèi)的?！?/p>

但事實(shí)上，它（指代InfiniBand）不是免費(fèi)的。你仍然需要拿出現(xiàn)金，而且它占集群成本的 20%。大家都知道GPU 計算引擎的成本非常高，但與基于 CPU 的 Web 基礎(chǔ)設(shè)施集群的總體成本相比，這還是令人印象深刻的。人工智能系統(tǒng)的 InfiniBand 網(wǎng)絡(luò)的成本，從節(jié)點(diǎn)到節(jié)點(diǎn)，肯定比在其他基礎(chǔ)設(shè)施集群上運(yùn)行數(shù)據(jù)庫、存儲和應(yīng)用程序的以太網(wǎng)昂貴得多。當(dāng)然，我們也承認(rèn)，后者的帶寬會相對較對。

雖然兩大陣型都在彰顯自己并攻擊對方，但在650group看來，雖然以太網(wǎng)與 InfiniBand有很多爭論，甚至有說法指出一種技術(shù)是如何以犧牲另一種技術(shù)為代價或消亡而取得成功的，存在，但這些爭論都是錯誤的。

“以太網(wǎng)和 InfiniBand 各有優(yōu)勢，并且在同一市場中蓬勃發(fā)展。他們各有優(yōu)劣勢?！?50group強(qiáng)調(diào)。

事實(shí)上，作為一種網(wǎng)絡(luò)互聯(lián)技術(shù)，InfiniBand以其高可靠性、低時延、高帶寬等特點(diǎn)在超級計算機(jī)集群中得到廣泛應(yīng)用。此外，隨著人工智能的進(jìn)步，尤其是英偉達(dá)在GPU上的壟斷，InfiniBand成為了GPU服務(wù)器的首選網(wǎng)絡(luò)互連技術(shù)。

650group也指出，InfiniBand 有幾個優(yōu)點(diǎn)。首先，該技術(shù)已經(jīng)存在 20 年，并且主要專注于 HPC 網(wǎng)絡(luò)；其次，它是一項(xiàng)從一開始就為 HPC 和 AI 網(wǎng)絡(luò)構(gòu)建的技術(shù)‘第三，人工智能可以使用低延遲和協(xié)議內(nèi)置的項(xiàng)目，例如網(wǎng)絡(luò)內(nèi)數(shù)據(jù)處理，這有助于進(jìn)一步加速人工智能。一個很好的例子是 InfiniBand 的 SHARP 網(wǎng)內(nèi)計算技術(shù)將 AI 數(shù)據(jù)縮減操作（AI 訓(xùn)練的關(guān)鍵要素）吞吐量提高了兩倍，這使得 InfiniBand 成為 AI 平臺性能最高的網(wǎng)絡(luò)，并成為人工智能平臺的領(lǐng)先解決方案。

以太網(wǎng)也是人工智能平臺中領(lǐng)先的外部和管理網(wǎng)絡(luò)。

自1980年9月30日推出以來，以太網(wǎng)標(biāo)準(zhǔn)已成為局域網(wǎng)中使用最廣泛的通信協(xié)議。與 InfiniBand 不同，以太網(wǎng)的設(shè)計考慮了以下主要目標(biāo)：信息如何在多個系統(tǒng)之間輕松流動？這是一個典型的具有分布式和兼容性設(shè)計的網(wǎng)絡(luò)。傳統(tǒng)以太網(wǎng)主要采用TCP/IP來構(gòu)建網(wǎng)絡(luò)，目前已逐漸發(fā)展為RoCE。

一般來說，以太網(wǎng)主要用于將多臺計算機(jī)或其他設(shè)備（例如打印機(jī)、掃描儀等）連接到局域網(wǎng)。它不僅可以通過光纖電纜將以太網(wǎng)連接到有線網(wǎng)絡(luò)，還可以通過無線組網(wǎng)技術(shù)實(shí)現(xiàn)無線網(wǎng)絡(luò)中的以太網(wǎng)?？焖僖蕴W(wǎng)、千兆以太網(wǎng)、10 吉比特以太網(wǎng)和交換以太網(wǎng)都是以太網(wǎng)的主要類型。

博通資深VP Ram Velaga 幾個月前在社交平臺中更是指出，以太網(wǎng)速度一直比Infiniband快至少2倍。今天，以太網(wǎng)的速度為每秒800千兆位，而Infiniband的速度為400Gbps。他表示，在 Infiniband 上以 400Gbps 的速度完成 1MB 消息傳輸需要 20 微秒，而在以太網(wǎng)上以 800Gbps 的速度完成 10 微秒。

Meta的Alexis Black Bjorlin在 OCP 2022 上更是介紹了在網(wǎng)絡(luò)中用于推薦工作負(fù)載的時間百分比。按照她的觀點(diǎn)，用以太網(wǎng)取代Infiniband將使網(wǎng)絡(luò)時間減少一半。這在整個AI基礎(chǔ)設(shè)施上節(jié)省了10%-25%+的成本，且更可持續(xù)！

但即使如此，如前文所說，英偉達(dá)憑借在GPU的強(qiáng)勢關(guān)系，他們已經(jīng)在Infiniband的選擇上擁有了更多地話語權(quán)。于是，Ultra Ethernet Consortium（超以太聯(lián)盟，UCE）橫空出世。

超以太聯(lián)盟，卷土重來

之所以說是卷土重來，是因?yàn)檫@個聯(lián)盟從某種意義上來說是為了完成以太網(wǎng)的未竟任務(wù)。

據(jù)白皮書介紹，超以太網(wǎng)聯(lián)盟的目標(biāo)是創(chuàng)建一個“完整的基于以太網(wǎng)的通信堆棧架構(gòu)”，該架構(gòu)將像以太網(wǎng)一樣普遍且經(jīng)濟(jì)高效，同時提供超級計算互連的性能。該聯(lián)盟的創(chuàng)始成員包括文章開頭談到的那些積極參與 HPC 和網(wǎng)絡(luò)的公司，包括英特爾、AMD、HPE、Arista、Broadcom、思科、Meta 和微軟，該項(xiàng)目本身由 Linux 基金會托管。

UEC 主席 J Metz 博士在接受采訪的時候告訴The Register，該項(xiàng)目的目標(biāo)不是改變以太網(wǎng)，而是對其進(jìn)行調(diào)整，以更好地適應(yīng) AI 和 HPC 工作負(fù)載更苛刻的特征。

“以太網(wǎng)是我們構(gòu)建的基礎(chǔ)技術(shù)，因?yàn)樗菢I(yè)界持久、靈活和適應(yīng)性強(qiáng)的基本網(wǎng)絡(luò)技術(shù)的最佳范例，”他說?！癠EC 的目標(biāo)是專注于如何在以太網(wǎng)上最好地承載 AI 和 HPC 工作負(fù)載流量。當(dāng)然，之前已經(jīng)有過一些嘗試，但沒有一個是針對高要求的 AI 和 HPC 進(jìn)行全新設(shè)計的工作負(fù)載，但沒有一個是開放的、易于使用的并贏得了廣泛的采用?！彼M(jìn)一步指出。

針對網(wǎng)絡(luò)堆棧的多個層，該項(xiàng)目工作組的任務(wù)是開發(fā)物理層和鏈路層的“增強(qiáng)性能、延遲和管理的規(guī)范”，以及開發(fā)傳輸層和軟件層的規(guī)范。

根據(jù)白皮書，網(wǎng)絡(luò)對于 AI 模型的訓(xùn)練變得越來越重要，而 AI 模型的規(guī)模正在不斷膨脹。有些擁有數(shù)萬億個參數(shù)，需要在大型計算集群上進(jìn)行訓(xùn)練，并且網(wǎng)絡(luò)需要盡可能高效才能保持這些集群繁忙。

雖然 AI 工作負(fù)載往往非常需要帶寬，但 HPC 還包括對延遲更加敏感的工作負(fù)載，并且需要滿足這兩個要求。為了滿足這些需求，UEC 確定了以下理想特性：靈活的delivery順序（flexible delivery order）；現(xiàn)代擁塞控制機(jī)制（modern congestion control mechanisms）；多路徑和數(shù)據(jù)包擴(kuò)散（multi-pathing and packet spraying）；加上更大的可擴(kuò)展性和端到端遙測（greater scalability and end-to-end telemetry）。

根據(jù)白皮書，舊技術(shù)使用的嚴(yán)格數(shù)據(jù)包排序會阻止無序數(shù)據(jù)直接從網(wǎng)絡(luò)傳遞到應(yīng)用程序，從而限制了效率。支持放寬數(shù)據(jù)包排序要求的現(xiàn)代 API 對于減少“尾部延遲”（tail latencies）至關(guān)重要。

多路徑和數(shù)據(jù)包擴(kuò)散涉及沿著源和目標(biāo)之間的所有可用網(wǎng)絡(luò)路徑同時發(fā)送數(shù)據(jù)包，以實(shí)現(xiàn)最佳性能。

如果多個發(fā)送方都針對同一節(jié)點(diǎn)，則 AI 和 HPC 中的網(wǎng)絡(luò)擁塞主要是交換機(jī)和接收節(jié)點(diǎn)之間的鏈路問題。然而，UEC 聲稱，當(dāng)前管理擁塞的算法并不能滿足針對人工智能優(yōu)化的網(wǎng)絡(luò)的所有需求。

首先，UEC 的目標(biāo)似乎是用可提供所需特性的新傳輸層協(xié)議取代融合以太網(wǎng)上的 RDMA (RoCE) 協(xié)議。這種超以太網(wǎng)傳輸將支持多路徑、packet-spraying傳輸、高效的速率控制算法，并向人工智能和高性能計算工作負(fù)載公開一個簡單的 API——或者至少這是其意圖。

HPE 對 UEC 的參與引人注目，因?yàn)樗呀?jīng)擁有基于以太網(wǎng)的 HPC 互連。正如The Next Platform的作者在文章中詳細(xì)描述的那樣，Cray Slingshot 技術(shù)是以太網(wǎng)的“超集” ，同時保持與標(biāo)準(zhǔn)以太網(wǎng)框架的兼容性，并且在 HPE 最近參與的許多超級計算機(jī)項(xiàng)目中得到了應(yīng)用，例如Frontier 百億億次系統(tǒng)。

HPE 高性能互連總經(jīng)理 Mike Vildibill 表示，該公司支持 UEC 的動機(jī)是希望確保 Slingshot 在開放的生態(tài)系統(tǒng)中運(yùn)行?！拔覀兿Ｍ?UEC 的 NIC 能夠體驗(yàn)到 Slingshot 結(jié)構(gòu)的一些性能和可擴(kuò)展性優(yōu)勢，”他說。Vildibil 證實(shí)，HPE 未來將繼續(xù)開發(fā) Slingshot，但他認(rèn)為總會有一些第三方 NIC 或 SmartNIC 可能具有其 Slingshot NIC 上未實(shí)現(xiàn)的功能。

“因此，UEC 提供了一種機(jī)制來建立強(qiáng)大的第三方 NIC 生態(tài)系統(tǒng)，以確保我們能夠支持廣泛的客戶需求，同時提供 Slingshot 的一些獨(dú)特功能，”他說。

目前，UEC 正處于開發(fā)的早期階段，關(guān)鍵技術(shù)概念仍在確定和研究中。Metz 博士表示，第一批批準(zhǔn)草案可能會在 2023 年底或 2024 年初準(zhǔn)備就緒，第一批基于標(biāo)準(zhǔn)的產(chǎn)品也預(yù)計將于明年推出。

芯片廠商積極參與，Meta放了個大招

雖然UEC正在推進(jìn)，但很多廠商正在通過其產(chǎn)品來打破英偉達(dá)的壟斷。

以最積極的芯片廠商博通為例，今年夏天，Nvidia 承諾推出 Spectrum-X 平臺，為生成型 AI 工作負(fù)載提供“無損以太網(wǎng)”。但博通的Ram Velaga 強(qiáng)調(diào)，這并不是新鮮事，英偉達(dá)的產(chǎn)品，也并沒有什么特別之處是博通不具備的。

他解釋說，Nvidia 使用 Spectrum-X 實(shí)際上所做的是構(gòu)建一個垂直集成的以太網(wǎng)平臺，該平臺擅長以最小化尾延遲并減少 AI 作業(yè)完成時間的方式管理擁塞。但Velaga 認(rèn)為，這與 Broadcom 對其Tomahawk5和Jericho3-AI交換機(jī) ASIC所做的沒有什么不同。他還認(rèn)為 Nvidia 承認(rèn)以太網(wǎng)對于處理人工智能中的 GPU 流更有意義。

我們需要稍微解析一下，Nvidia 的 Spectrum-X 不是產(chǎn)品。它是硬件和軟件的集合，其中大部分我們在過去已經(jīng)介紹過。核心組件包括Nvidia的51.2Tbit/s Spectrum-4以太網(wǎng)交換機(jī)和BlueField-3數(shù)據(jù)處理單元（DPU）。

其基本思想是，只要您同時使用 Nvidia 的交換機(jī)及其 DPU，它們就會協(xié)同工作以緩解流量擁塞，并且（如果 Nvidia 可信的話）完全消除數(shù)據(jù)包丟失。

雖然英偉達(dá)聲稱這是其全新的功能單元，但 Velaga 認(rèn)為“無損以太網(wǎng)”的想法只是營銷?！芭c其說它是無損的，不如說你可以有效地管理擁塞，從而擁有一個非常高效的以太網(wǎng)結(jié)構(gòu)，”他說。換句話說，與以太網(wǎng)網(wǎng)絡(luò)不同，數(shù)據(jù)包丟失是必然的，它是規(guī)則的例外。無論如何，這就是想法。

Velaga 聲稱，這種擁塞管理已經(jīng)內(nèi)置于 Broadcom 最新一代的交換機(jī) ASIC 中 - 只是它們可以與任何供應(yīng)商或云服務(wù)提供商的 smartNIC 或 DPU 配合使用。Velaga 還表示，Nvidia 試圖實(shí)現(xiàn)的垂直整合與以太網(wǎng)是沖突的。

“以太網(wǎng)今天成功的全部原因是它是一個非常開放的生態(tài)系統(tǒng)，”他說。

作為以太網(wǎng)的另一個支持者， Meta Platforms近日也在其主辦的 Networking  Scale 2023 活動上展示了融合以太網(wǎng)上采用 RDMA 的以太網(wǎng)（一種借鑒了 InfiniBand 的許多想法的低延遲以太網(wǎng)）。

據(jù)nextplatform報道，該公司談到了如何使用以太網(wǎng)進(jìn)行中等規(guī)模的人工智能訓(xùn)練和推理集群，以及其近期計劃如何擴(kuò)展到具有 32,000 個 GPU 共享數(shù)據(jù)的系統(tǒng)，并使規(guī)模比它一直用于創(chuàng)建和訓(xùn)練 LLaMA 1 和 LLaMA 2 模型的最初 2,000 個 GPU 集群提高了16 倍。需要強(qiáng)調(diào)一下，Meta Platforms 從 Nvidia 購買的研究超級計算機(jī)系統(tǒng)最多擁有 16,000 個 GPU，其中大部分是 Nvidia 的“Ampere”A100 GPU，其中相對較小的份額是更新且容量更大的“Hopper”H100 模塊。

“人工智能模型每兩到三年就會增長 1,000 倍，”該公司網(wǎng)絡(luò)基礎(chǔ)設(shè)施團(tuán)隊(duì)軟件工程總監(jiān) Rajiv Krishnamurthy 解釋道?！拔覀冊?Meta 內(nèi)部觀察到了這一點(diǎn)，我認(rèn)為根據(jù)我們在行業(yè)中觀察到的情況，這似乎是一種長期趨勢。這個數(shù)字很難理解。因此，從物理角度來看，這會轉(zhuǎn)化為數(shù)萬個 GPU 集群大小，這意味著它們正在生成萬億次計算。這是由 EB 級數(shù)據(jù)存儲支持的?！?/p>

“而從網(wǎng)絡(luò)角度來看，您正在考慮操縱每秒大約太比特的數(shù)據(jù)。工作負(fù)載本身就很挑剔。由此人們了解到，典型的 AI HPC 工作負(fù)載具有非常低的延遲要求，而且從數(shù)據(jù)包的角度來看，他們無法容忍丟失?！盧ajiv Krishnamurthy 說。

為此，Meta Platforms 希望用于 AI 訓(xùn)練的生產(chǎn)集群的規(guī)模比其 2022 年 1 月購買的 Nvidia RSC 機(jī)器的規(guī)模擴(kuò)大 2 倍，并在去年全年不斷擴(kuò)大規(guī)模，達(dá)到 16,000 個 GPU 的完整配置。然后，不久之后，就會討論 48,000 個 GPU，然后是 64,000 個 GPU，依此類推。

在Meta看來，構(gòu)建一個可以進(jìn)行 LLM 訓(xùn)練（目前在Meta Platforms 上使用 LLaMA 2）和推理以及 Reco 訓(xùn)練和推理（在本例中為自主開發(fā)的深度學(xué)習(xí)推薦模型或 DLRM）的系統(tǒng)非常困難，而且考慮到這四種工作負(fù)載的不同要求，這甚至可以說是不可能的，正如 Meta Platforms 人工智能系統(tǒng)部門的研究科學(xué)家 Jongsoo Park 在這個蜘蛛圖中所示：

Park 表示，Meta Platforms 擁有 32,000 個 H100，在 FP8 四分之一精度浮點(diǎn)數(shù)學(xué)生產(chǎn)中產(chǎn)生約 30% 的峰值性能，Meta Platforms 將能夠在一天內(nèi)訓(xùn)練具有 650 億個參數(shù)的 LLaMA2 模型。為了實(shí)現(xiàn)這一目標(biāo)，很多事情都必須改變，其中包括將訓(xùn)練令牌（token）批次增加到 2,000 以上，并在數(shù)千個 GPU 上進(jìn)行擴(kuò)展。全局訓(xùn)練批量大小還必須在 32,000 個 GPU 上保持不變，并使用他所謂的 3D 并行性（數(shù)據(jù)并行、張量并行和管道并行技術(shù)的組合）將工作分散到 GPU 上。Park 表示，由于參數(shù)和數(shù)據(jù)量變得如此之大，數(shù)據(jù)并行性正在耗盡，因此沒有辦法解決這個問題。

為此，Meta一直在改個其系統(tǒng)，以滿足客戶需求。

在幾年前，DLRM 訓(xùn)練和推理可以在單個節(jié)點(diǎn)上完成。然后，通過第一代以太網(wǎng) RoCE 集群，Meta 可以將多個節(jié)點(diǎn)集群在一起，但集群規(guī)模相當(dāng)有限。為了獲得所需的規(guī)模，它必須轉(zhuǎn)向 InfiniBand 和以太網(wǎng) RoCE v2，前者存在財務(wù)問題，后者存在一些技術(shù)問題，但該公司到目前為止已經(jīng)解決了。

Meta Platforms 擔(dān)任網(wǎng)絡(luò)工程師Lapukhov 表示，從基本構(gòu)建模塊開始，基于 Nvidia 加速器的八路 GPU 服務(wù)器可以在節(jié)點(diǎn)內(nèi)具有數(shù)十個加速器的設(shè)備之間提供 450 GB/秒的帶寬。模型并行流量在節(jié)點(diǎn)內(nèi)互連上運(yùn)行，在本例中為 NVLink，但也可以是 PCI-Express 交換基礎(chǔ)設(shè)施。從這里開始，模型必須使用某種形式的 RDMA（InfiniBand 或以太網(wǎng) RoCE）跨數(shù)千個節(jié)點(diǎn)（具有數(shù)萬個聚合 GPU 計算引擎）進(jìn)行數(shù)據(jù)并行擴(kuò)展，并且您可以以 50 GB/秒的速度交付具有合理數(shù)量的網(wǎng)絡(luò)接口卡的節(jié)點(diǎn)之間的帶寬。

對于以太網(wǎng) AI 網(wǎng)絡(luò)，Meta Platforms 使用與數(shù)據(jù)中心規(guī)模前端網(wǎng)絡(luò)應(yīng)用程序相同的 Clos 拓?fù)?，而不是?AI 訓(xùn)練和 HPC 集群中使用 InfiniBand 的用戶普遍青睞的fat tree 拓?fù)洹?/p>

為了達(dá)到 32,256 個 GPU，該公司在一個機(jī)架中放置了兩臺服務(wù)器，每臺服務(wù)器配有 8 個 Nvidia H100 GPU。就機(jī)架而言，這并不是特別密集，但它的密度并不比 Nvidia 本身對其 DGX H100 集群所做的密集。這意味著有 2,000 個機(jī)架需要連接，如下所示：

如果仔細(xì)觀察，它實(shí)際上是 8 個集群，每個集群有 4,096 個 GPU，每個集群在兩層網(wǎng)絡(luò)中交叉鏈接。

每個機(jī)架都有一對服務(wù)器，總共有 16 個 GPU 和一個架頂交換機(jī)。目前尚不清楚服務(wù)器或交換機(jī)中有多少個端口，但每個 GPU 最好有一個上行端口，這意味著每臺服務(wù)器有 8 個端口。（這就是 Nvidia 對其 DGX 設(shè)計所做的事情。）整個 enchilada 中總共有 2,016 個 TOR。隨著網(wǎng)絡(luò)的發(fā)展，交換機(jī)的數(shù)量相當(dāng)多。

這些架頂交換機(jī)使用 18 個集群交換機(jī)（您可以稱之為主干）交叉連接成一個集群，整個集群中有 144 個交換機(jī)。然后還有另外 18 個具有 7:1 超額訂閱錐度的聚合交換機(jī)，將 8 個子集群相互鏈接。即 2,178 個交換機(jī)互連 4,032 個節(jié)點(diǎn)。由于這些數(shù)據(jù)密集型 GPU 的帶寬需求，該比率為 1.85:1。

Lapukhov 的這張表很酷，它表明就 AI 模型而言，子集群粒度實(shí)際上約為 256 到 512 個 GPU：

這顯示了支撐人工智能的集體操作如何映射到網(wǎng)絡(luò)上：

要點(diǎn)就是這樣，這并不奇怪。當(dāng)您制作更大的結(jié)構(gòu)以跨越更多 GPU 時，您會向網(wǎng)絡(luò)添加更多層，這意味著更多延遲，這會降低 GPU 的利用率，至少在 GPU 等待集體操作完成的某些時間在集群周圍傳播。但完全共享數(shù)據(jù)并行全收集操作往往會發(fā)送小消息（通常為 1 MB 或更?。?，如果您能夠很好地處理小消息，則可以通過通信和計算的細(xì)粒度重疊來實(shí)現(xiàn)張量并行。

聽起來好像有人需要大型 NUMA 節(jié)點(diǎn)來進(jìn)行推理和訓(xùn)練。。。。這正是 NVLink 的作用和 NVSwitch 的擴(kuò)展。

那么這在 Meta Platforms 數(shù)據(jù)中心中是什么樣子的呢？那么，前端數(shù)據(jù)中心結(jié)構(gòu)如下所示：

我們將數(shù)據(jù)中心劃分為四個房間，每個房間都有一些聚合網(wǎng)絡(luò)，然后核心網(wǎng)絡(luò)將數(shù)據(jù)中心中心自己區(qū)域內(nèi)的房間連接在一起。為了將人工智能添加到服務(wù)器機(jī)房，集群訓(xùn)練交換機(jī)（CTSW）和機(jī)架訓(xùn)練交換機(jī)（RTSW）與其他應(yīng)用服務(wù)器添加到同一機(jī)房，并且可以與應(yīng)用服務(wù)器交錯。在四個數(shù)據(jù)大廳中，Meta可以容納數(shù)以萬計的緊密耦合的 GPU：

這是網(wǎng)絡(luò)平面的 3D 表示（如果這樣更容易可視化）：

早在過去，Meta Platforms 使用 100 Gb/秒以太網(wǎng)和 RoCE v1 并取得了一些成功：

隨著轉(zhuǎn)向以太網(wǎng) RoCE v2（延遲和數(shù)據(jù)包保護(hù)功能得到極大改善），Meta Platforms 將 8 個 200 Gb/秒的端口連接到每臺服務(wù)器，并使用 400 Gb 將這些端口與機(jī)架和集群交換機(jī)交叉耦合/秒端口。

在第二代 AI 架構(gòu)中，他們已將每個 GPU 的主機(jī)下行鏈路速度提升至 400 Gb/秒，并且仍在運(yùn)行更高級別的網(wǎng)絡(luò)訂閱不足，無法保持比特順利傳輸。

Nextplatform的作者認(rèn)為，在未來的很多年里，情況都會如此。但如果超以太網(wǎng)聯(lián)盟采用Neta的方式，以太網(wǎng)將更像 InfiniBand，并將擁有多個供應(yīng)商，從而為所有超大規(guī)模提供商和云構(gòu)建商提供更多選擇和更大的競爭壓力，以降低網(wǎng)絡(luò)價格。

不過，不要指望它的成本會低于集群成本的 10%——只要 GPU 的成本仍然很高。但有意思的是，隨著 GPU 成本的下降，來自網(wǎng)絡(luò)的集群成本份額將會上升，從而給 InfiniBand 帶來更大的壓力。

來源：半導(dǎo)體行業(yè)觀察