xAI宣布開(kāi)源大語(yǔ)言模型Grok-1并開(kāi)放下載

3月18日消息，美國(guó)當(dāng)?shù)貢r(shí)間周日，埃隆·馬斯克（Elon Musk）旗下的人工智能初創(chuàng)企業(yè)xAI宣布，其大語(yǔ)言模型Grok-1已實(shí)現(xiàn)開(kāi)源，并向公眾開(kāi)放下載。感興趣的用戶(hù)可通過(guò)訪問(wèn)GitHub頁(yè)面github.com/xai-org/grok來(lái)使用該模型。

xAI介紹稱(chēng)，Grok-1是一款基于混合專(zhuān)家系統(tǒng)（Mixture-of-Experts，MoE）技術(shù)構(gòu)建的大語(yǔ)言模型，擁有3140億參數(shù)。近期，公司發(fā)布了Grok-1的基本模型權(quán)重和網(wǎng)絡(luò)架構(gòu)詳情。

該公司表示，Grok-1始終由xAI自行訓(xùn)練，其預(yù)訓(xùn)練階段于2023年10月完成。此次發(fā)布的是Grok-1預(yù)訓(xùn)練階段結(jié)束時(shí)的原始基礎(chǔ)模型檢查點(diǎn)，即該模型未經(jīng)過(guò)針對(duì)任何具體應(yīng)用的微調(diào)。

xAI強(qiáng)調(diào)，Grok-1的權(quán)重和架構(gòu)均依照Apache 2.0開(kāi)源許可協(xié)議發(fā)布。

xAI還特別強(qiáng)調(diào)了Grok-1的幾大特性：

首先，Grok-1是一個(gè)未針對(duì)特定任務(wù)進(jìn)行微調(diào)的基礎(chǔ)模型，它基于大量文本數(shù)據(jù)訓(xùn)練而成；

其次，作為一款基于混合專(zhuān)家技術(shù)構(gòu)建的大語(yǔ)言模型，Grok-1擁有3140億參數(shù)，在處理每個(gè)token時(shí)有25%的權(quán)重處于活躍狀態(tài)；

最后，Grok-1是xAI團(tuán)隊(duì)使用JAX和Rust編程語(yǔ)言自定義訓(xùn)練棧從零開(kāi)始訓(xùn)練的成果，訓(xùn)練完成于2023年10月。

此外，xAI還提到，Grok-1的封面配圖是借助人工智能繪圖工具M(jìn)idjourney生成的，基于以下提示創(chuàng)作而成：展示一個(gè)3D插圖的神經(jīng)網(wǎng)絡(luò)，其中包含透明的節(jié)點(diǎn)和發(fā)光的連接線，通過(guò)線條的粗細(xì)和顏色變化來(lái)表示權(quán)重的不同。