博客專(zhuān)欄

EEPW首頁(yè) > 博客 > 馬斯克:史上最強(qiáng)AI訓(xùn)練集群上線(xiàn),將再增加10萬(wàn)顆GPU

馬斯克:史上最強(qiáng)AI訓(xùn)練集群上線(xiàn),將再增加10萬(wàn)顆GPU

發(fā)布人:旺材芯片 時(shí)間:2024-09-04 來(lái)源:工程師 發(fā)布文章

圖片


圖片

特斯拉CEO埃隆·馬斯克。視覺(jué)中國(guó) 資料圖馬斯克旗下宣稱(chēng)是目前最強(qiáng)大的人工智能計(jì)算集群上線(xiàn),其規(guī)模還將很快翻倍。9月3日,特斯拉CEO埃隆·馬斯克在X平臺(tái)上宣布,旗下人工智能初創(chuàng)企業(yè)x.AI打造的超級(jí)人工智能訓(xùn)練集群已經(jīng)正式上線(xiàn),該集群名為“Colossus(巨人)”。他透露,團(tuán)隊(duì)花了122天來(lái)完成Colossus的上線(xiàn)過(guò)程。Colossus還將在未來(lái)幾個(gè)月內(nèi)增加10萬(wàn)顆GPU(圖形處理器),其中,5萬(wàn)顆將是更為先進(jìn)的英偉達(dá)H200,這意味著Colossus的算力將再次翻倍。

圖片

在社交平臺(tái)上,業(yè)內(nèi)的反響非常熱烈,稱(chēng)這是人工智能領(lǐng)域的巨大成就。風(fēng)險(xiǎn)投資公司方舟投資(ARK Invest)的CEO凱茜·伍德(Cathie Wood)也對(duì)該團(tuán)隊(duì)取得的成就表示祝賀,稱(chēng)其“令人印象深刻”,并透露xAI未來(lái)還會(huì)有重大進(jìn)展要宣布。

圖片

早在去年上半年,就不斷有媒體爆料稱(chēng)馬斯克正在為特斯拉采購(gòu)大量GPU。今年5月份,Colossus首次被公開(kāi),并在7月份開(kāi)始運(yùn)行。5月25日,馬斯克在一場(chǎng)演講中透露,xAI計(jì)劃打造一臺(tái)超級(jí)計(jì)算機(jī),名為“算力的超級(jí)工廠(chǎng)”,預(yù)計(jì)規(guī)模是市場(chǎng)上最強(qiáng)大競(jìng)爭(zhēng)對(duì)手的四倍。該計(jì)算機(jī)將采用英偉達(dá)H100 GPU。7月22日,馬斯克在X上宣布,xAI團(tuán)隊(duì)、X團(tuán)隊(duì)、英偉達(dá)及其他支持公司已經(jīng)于當(dāng)?shù)貢r(shí)間凌晨4時(shí)20分開(kāi)始在“孟菲斯超級(jí)集群(Memphis Supercluster)”,也就是Colossus上進(jìn)行訓(xùn)練。Colossus由10萬(wàn)個(gè)液冷H100 GPU組成,在單個(gè)RDMA結(jié)構(gòu)(即遠(yuǎn)程直接數(shù)據(jù)存儲(chǔ)結(jié)構(gòu),可解決網(wǎng)絡(luò)傳輸中服務(wù)器端數(shù)據(jù)處理的延遲)上運(yùn)行,是“世界上最強(qiáng)大的人工智能訓(xùn)練集群”。馬斯克還補(bǔ)充說(shuō),目標(biāo)是在今年12月前訓(xùn)練出“按每項(xiàng)指標(biāo)衡量都是世界上最強(qiáng)大的人工智能”。當(dāng)然,xAI的大模型Grok也將在自家的Colossus上進(jìn)行訓(xùn)練。去年7月,xAI宣布正式成立,并表示公司的宗旨是“了解宇宙的真實(shí)本質(zhì)”。xAI在官網(wǎng)表示,“我們是一家獨(dú)立于X Corp的公司,但將與X、特斯拉和其他公司密切合作,以實(shí)現(xiàn)使命?!?/span>2023年11月,xAI發(fā)布第一款大模型Grok-1;8月13日,xAI宣布Grok-2的測(cè)試版本正式上線(xiàn),并首次引入圖像生成功能;馬斯克此前曾透露,Grok-3將使用Colossus進(jìn)行訓(xùn)練,預(yù)計(jì)將于年底發(fā)布,相信它會(huì)“非常特別”。今年5月份,xAI宣布獲得60億美元B輪融資,主要投資者包括安德森·霍洛維茨基金(Andreessen Horowitz)、紅杉資本(Sequoia Capital)等。xAI的投前估值為180億美元,本輪融資后的投后估值將達(dá)到240億美元。不過(guò),在引領(lǐng)人工智能革命的同時(shí),馬斯克長(zhǎng)期以來(lái)也一直在強(qiáng)調(diào)人工智能的潛在安全風(fēng)險(xiǎn),并積極推動(dòng)人工智能安全法規(guī)落地。8月27日,馬斯克在X上發(fā)帖稱(chēng),他認(rèn)為加利福尼亞州應(yīng)該通過(guò)參議院SB 1047號(hào)法案。此舉在科技界引起了爭(zhēng)議,許多人擔(dān)心這可能會(huì)扼殺美國(guó)的人工智能創(chuàng)新。據(jù)悉,SB 1047法案要求一些最大的人工智能模型(成本高于1億美元)在開(kāi)發(fā)時(shí)必須報(bào)告智能安全問(wèn)題,并需要提交評(píng)估與模型相關(guān)的風(fēng)險(xiǎn)的報(bào)告。該法案已經(jīng)遭到xAI競(jìng)爭(zhēng)對(duì)手OpenAI公司的反對(duì)。

圖片

來(lái)源:澎湃新聞



*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布,僅代表博主個(gè)人觀(guān)點(diǎn),如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。



關(guān)鍵詞: 馬斯克

相關(guān)推薦

技術(shù)專(zhuān)區(qū)

關(guān)閉