跨多個數(shù)據(jù)中心和 GPU 架構(gòu)訓(xùn)練生成式 AI 模型

一位行業(yè)分析師最近透露，中國已經(jīng)開發(fā)了跨多個數(shù)據(jù)中心的單一生成式 AI （GAI） 模型，考慮到在單個數(shù)據(jù)中心使用不同 GPU 的復(fù)雜性，更不用說在多個地理位置使用服務(wù)器了，這是一項巨大的壯舉。Moor Insights & Strategy的首席分析師Patrick Moorhead在X（前Twitter）上表示，中國是第一個實現(xiàn)這一成就的國家，他是在一次可能無關(guān)的NDA會議的對話中發(fā)現(xiàn)的。

這種在不同地點(diǎn)/架構(gòu)中訓(xùn)練 GAI 的技術(shù)對于中國保持其 AI 夢想向前發(fā)展至關(guān)重要，尤其是在美國制裁阻止其獲得最新、最強(qiáng)大的芯片來推動其研發(fā)的情況下。由于英偉達(dá)不想失去中國市場，因此它制造了功能較弱的 H20 AI 芯片，這些芯片屬于華盛頓的限制性性能參數(shù)。然而，有傳言稱，即使是這些降級的芯片也可能很快被禁止，這凸顯了中國科技公司在當(dāng)前政治氣候下面臨的不確定性。

由于這種不確定性，中國研究人員一直在努力將不同品牌的 GPU 融合到一個訓(xùn)練集群中。通過這樣做，這些機(jī)構(gòu)可以將他們有限的受制裁高端、高性能芯片（如 Nvidia A100）庫存與功能較弱但現(xiàn)成的 GPU（如華為的 Ascend 910B 或上述 Nvidia H20）相結(jié)合。這項技術(shù)可以幫助他們解決中國高端 GPU 短缺的問題，盡管歷史上效率會大幅下降。

然而，中國似乎已經(jīng)找到了解決這個問題的方法，尤其是跨多個數(shù)據(jù)中心開發(fā)單一 GAI 的消息。雖然我們還沒有關(guān)于這個 GAI 的任何信息，但它顯示了中國研究人員將不遺余力，以確保他們能夠繼續(xù)推動中國的 AI 雄心向前發(fā)展。正如華為所說，盡管受到美國的制裁，中國將想方設(shè)法繼續(xù)推進(jìn)其人工智能發(fā)展。畢竟，需求是發(fā)明之母。