千億參數(shù)的大模型，需要多少算力？

與狹義的人工智能相比，通用人工智能通過(guò)跨領(lǐng)域、跨學(xué)科、跨任務(wù)和跨模態(tài)的大模型，能夠滿足更廣泛的場(chǎng)景需求、實(shí)現(xiàn)更高程度的邏輯理解能力與使用工具能力。2023 年，隨著 LLM 大規(guī)模語(yǔ)言模型技術(shù)的不斷突破，大模型為探索更高階的通用人工智能帶來(lái)了新的曙光。通用人工智能進(jìn)入了快速發(fā)展期，在中國(guó)，大模型已經(jīng)呈現(xiàn)出百花齊放的態(tài)勢(shì)，各種大模型層出不窮。

要想在「百模爭(zhēng)秀」的時(shí)代占得先機(jī)，AI 開發(fā)團(tuán)隊(duì)需要著力化解算力、算法、數(shù)據(jù)層面的巨大挑戰(zhàn)，而開發(fā)效率和訓(xùn)練速度是保障大模型市場(chǎng)競(jìng)爭(zhēng)力的核心關(guān)鍵因素，也是未來(lái)的核心發(fā)力點(diǎn)。浪潮信息人工智能與高性能應(yīng)用軟件部 AI 架構(gòu)師 Owen ZHU 參與首屆由 CSDN、《新程序員》聯(lián)合主辦的 NPCon：AI 模型技術(shù)與應(yīng)用峰會(huì)，分享了面向新一輪 AIGC 產(chǎn)業(yè)革命，AI 大模型的算力系統(tǒng)解決之道，并強(qiáng)調(diào)算力、算法、數(shù)據(jù)和系統(tǒng)架構(gòu)等多個(gè)方面的綜合優(yōu)化對(duì)大模型訓(xùn)練到了至關(guān)重要的作用。本次分享主要包含三塊內(nèi)容，分別是：一、「百模爭(zhēng)秀」時(shí)代的算力瓶頸二、欲煉大模型，先利其器三、大模型的天花板，基礎(chǔ)設(shè)施決定速度

備注：現(xiàn)場(chǎng)視頻請(qǐng)查閱「CSDN視頻號(hào)」

「百模爭(zhēng)秀」時(shí)代的算力瓶頸

大模型研發(fā)的核心技術(shù)是由預(yù)訓(xùn)練與 Alignment（價(jià)值對(duì)齊）組成的，第一部分就是預(yù)訓(xùn)練，需要用大量的數(shù)據(jù)使模型收斂速度更快、性能更好。第二部分則是 Alignment（價(jià)值對(duì)齊），Alignment （價(jià)值對(duì)齊）不完全等于強(qiáng)化學(xué)習(xí)，其通過(guò)使用多種方式/策略優(yōu)化模型輸出，讓 AI 在和人的交流反饋中學(xué)會(huì)如何溝通表達(dá)，這兩部分是提升大模型質(zhì)量的核心要素。目前來(lái)看，模型基礎(chǔ)能力取決于數(shù)據(jù)、模型參數(shù)量和算力。模型參數(shù)量越大、投入的訓(xùn)練數(shù)據(jù)越大，模型泛化能力越強(qiáng)。由于資源限制，在兩者不可兼得的時(shí)候，應(yīng)該如何進(jìn)行取舍呢？OpenAI 的研究結(jié)論認(rèn)為，與增加數(shù)據(jù)量相比，先增大模型參數(shù)量受益則會(huì)更好，用一千億的模型訓(xùn)練兩千億的 Token 和兩千億模型訓(xùn)練一千億的 Token，后者的模型性能會(huì)更高。由此可見，參數(shù)量是衡量模型能力的一個(gè)重要指標(biāo)，當(dāng)模型參數(shù)量增長(zhǎng)超過(guò)一定閾值時(shí)，模型能力表現(xiàn)出躍遷式的提升，表現(xiàn)出來(lái)語(yǔ)言理解能力、生成能力、邏輯推理能力等能力的顯著提升，這也就是我們所說(shuō)的模型的涌現(xiàn)能力。模型規(guī)模多大能產(chǎn)生涌現(xiàn)能力呢？
現(xiàn)在來(lái)看，百億參數(shù)是模型具備涌現(xiàn)能力的門檻，千億參數(shù)的模型具備較好的涌現(xiàn)能力。但這并不意味著模型規(guī)模就要上升到萬(wàn)億規(guī)模級(jí)別的競(jìng)爭(zhēng)，因?yàn)楝F(xiàn)有大模型并沒有得到充分訓(xùn)練，如 GPT-3 的每個(gè)參數(shù)基本上只訓(xùn)練了 1-2 個(gè)Token，DeepMind 的研究表明，如果把一個(gè)大模型訓(xùn)練充分，需要把每個(gè)參數(shù)量訓(xùn)練 20 個(gè) Token。所以，當(dāng)前的很多千億規(guī)模的大模型還需要用多 10 倍的數(shù)據(jù)進(jìn)行訓(xùn)練，模型性能才能達(dá)到比較好的水平。
無(wú)論是提高模型參數(shù)量還是提升數(shù)據(jù)規(guī)模，算力依舊是大模型能力提升的核心驅(qū)動(dòng)力：需要用「足夠大」的算力，去支撐起「足夠精準(zhǔn)」模型泛化能力。當(dāng)前大模型訓(xùn)練的算力當(dāng)量還在進(jìn)一步增大，從 GPT-3 到 GPT-4 算力當(dāng)量增長(zhǎng)了 68 倍。算力當(dāng)量越大，交叉熵越小，模型能力越強(qiáng)。隨著訓(xùn)練的 token 數(shù)、模型參數(shù)、計(jì)算量的增加，語(yǔ)言模型的 loss 在平滑下降，這就意味著大語(yǔ)言模型的精度可以隨著計(jì)算量、參數(shù)規(guī)模、token 數(shù)擴(kuò)展進(jìn)一步提升。

欲煉大模型，先利其器
大模型能力來(lái)源于大量工程實(shí)踐經(jīng)驗(yàn)，預(yù)訓(xùn)練的工程挑戰(zhàn)巨大，這表現(xiàn)在如下幾個(gè)方面：首先，AI 大模型的演化對(duì)于集群的并行運(yùn)算效率、片上存儲(chǔ)、帶寬、低延時(shí)的訪存等也都提出了較高的需求，萬(wàn)卡AI平臺(tái)的規(guī)劃建設(shè)、性能調(diào)優(yōu)、算力調(diào)度都是很難解決的難題；其次，大規(guī)模訓(xùn)練普遍存在硬件故障、梯度爆炸等小規(guī)模訓(xùn)練不會(huì)遇到的問題；再次，工程實(shí)踐方面的缺乏導(dǎo)致企業(yè)難以在模型質(zhì)量上實(shí)現(xiàn)快速提升。作為最早布局大模型的企業(yè)之一，浪潮信息在業(yè)界率先推出了中文 AI 巨量模型「源 1.0」，參數(shù)規(guī)模高達(dá) 2457 億。千億參數(shù)規(guī)模的大模型創(chuàng)新實(shí)踐，使得浪潮信息在大模型領(lǐng)域積累了實(shí)戰(zhàn)技術(shù)經(jīng)驗(yàn)并擁有專業(yè)的研發(fā)團(tuán)隊(duì)，為業(yè)界提供AI算力系統(tǒng)參考設(shè)計(jì)。在算力效率層面，針對(duì)大模型訓(xùn)練中存在計(jì)算模式復(fù)雜，算力集群性能較低的情況。源 1.0 在大規(guī)模分布式訓(xùn)練中采用了張量并行、流水線并行和數(shù)據(jù)并行的三維并行策略，使用 266 臺(tái) 8 卡 NVLINK A100 服務(wù)器，訓(xùn)練耗時(shí)約 15 天，單卡計(jì)算效率約 44%。共計(jì)訓(xùn)練了 180 billion token，并將模型最后的 loss 值收斂至 1.73，顯著低于 GPT-3 等業(yè)界其他語(yǔ)言模型。首次提出面向效率和精度優(yōu)化的大模型結(jié)構(gòu)協(xié)同設(shè)計(jì)方法，圍繞深度學(xué)習(xí)框架、訓(xùn)練集群 IO、通信開展了深入優(yōu)化，在僅采用 2x200G 互聯(lián)的情況下，源 1.0的算力效率達(dá)到 45%，算力效率世界領(lǐng)先。在集群高速互聯(lián)層面，基于原生 RDMA 實(shí)現(xiàn)整個(gè)集群的全線速組網(wǎng)，并對(duì)網(wǎng)絡(luò)拓?fù)溥M(jìn)行優(yōu)化，可以有效消除混合計(jì)算的計(jì)算瓶頸，確保集群在大模型訓(xùn)練時(shí)始終處于最佳狀態(tài)。

大模型的天花板：算力效率決定速度

當(dāng)前，中國(guó)和業(yè)界先進(jìn)水平大模型的算力差距依然較大，從算力當(dāng)量來(lái)看，GPT-4 的算力當(dāng)量已經(jīng)達(dá)到了 248,842PD，而國(guó)內(nèi)大多數(shù)主流的大模型算力大量?jī)H為數(shù)千 PD，差距高達(dá)近百倍。同時(shí)，中國(guó)和業(yè)界先進(jìn)水平大模型在算法、數(shù)據(jù)方面也存在巨大差距。在算法方面，雖然開源為國(guó)內(nèi)大模型發(fā)展帶來(lái)了彎道超車的良機(jī)，但 LLaMA 等開源大模型相比 GPT4 等頂級(jí)水平自研模型的性能，開源模型的能力存在「天花板」。在數(shù)據(jù)方面，中文數(shù)據(jù)集和英文數(shù)據(jù)集相比較，在規(guī)模、質(zhì)量上均存在顯著差距，相較于動(dòng)輒數(shù)千億單詞量級(jí)的英文數(shù)據(jù)，中文大模型的數(shù)據(jù)量級(jí)僅為百億左右，而且開源程度較低，封閉程度較高。開發(fā)大模型、發(fā)展通用人工智能是一項(xiàng)非常復(fù)雜的系統(tǒng)工程,我們亟需從系統(tǒng)層面為未來(lái)大模型的良好生態(tài)發(fā)展尋找最優(yōu)解。從實(shí)戰(zhàn)中走來(lái)，通過(guò)構(gòu)建高效穩(wěn)定的智算系統(tǒng)，加速模型開發(fā)效率提升。

*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。