科大訊飛發(fā)布星火一體機(jī)：鯤鵬CPU＋昇騰GPU，算力達(dá)2.5PFlops！

8月15日，科大訊飛在合肥舉辦了“訊飛星火認(rèn)知大模型V2.0升級(jí)發(fā)布會(huì)”。在此次發(fā)布會(huì)上，科大訊飛與華為共同發(fā)布用于構(gòu)建專(zhuān)屬大模型的軟硬件一體化設(shè)備“星火一體機(jī)”。

科大訊飛董事長(zhǎng)劉慶峰表示，“科大訊飛和華為已在聯(lián)合攻關(guān)算力卡脖子的問(wèn)題?！痹趩慰ㄋ懔ι?，“星火一體機(jī)”對(duì)標(biāo)英偉達(dá)A100，同時(shí)還正在和華為一道打造面向超大規(guī)模大模型訓(xùn)練的國(guó)產(chǎn)算力集群，形成集群化優(yōu)勢(shì)。

據(jù)了解，在大模型的研發(fā)過(guò)程中，需要可以支撐千億參數(shù)規(guī)模大模型并行訓(xùn)練的算力和框架，這通常需要幾千張高算力的AI加速卡同時(shí)連續(xù)運(yùn)行?；诖?，系統(tǒng)架構(gòu)以及并行訓(xùn)練的集群能力成為大模型研發(fā)的關(guān)鍵。

據(jù)了解，星火一體機(jī)基于華為鯤鵬CPU＋昇騰GPU，另外還采用了華為存儲(chǔ)和網(wǎng)絡(luò)提供整機(jī)柜方案，FP16（半精度浮點(diǎn)數(shù)格式）算力2.5 petaFLOPS（1 petaFLOPS為每秒運(yùn)行一千萬(wàn)億次浮點(diǎn)運(yùn)算）。在大模型訓(xùn)練中最為流行的英偉達(dá)DGX A100，其單節(jié)點(diǎn)包含8塊GPU，可以輸出5 PetaFLOPS的FP16算力。

（星火一體機(jī)采用的昇騰芯片型號(hào)疑似為昇騰910B，性能較上一代有所提升。官網(wǎng)資料顯示，昇騰910的FP16算力為320TFLOPS。）

據(jù)介紹，星火一體機(jī)的訓(xùn)練和推理一體化部署，可用于問(wèn)答系統(tǒng)、對(duì)話生成、知識(shí)圖譜構(gòu)建、智能推薦等多個(gè)領(lǐng)域的應(yīng)用，具備大模型預(yù)訓(xùn)練、多模態(tài)理解與生成、多任務(wù)學(xué)習(xí)和遷移等能力。

星火一體機(jī)還針對(duì)星火認(rèn)知智能大模型的訓(xùn)練算法和推理應(yīng)用進(jìn)行了硬件的量身定制，可大大降低企業(yè)的使用成本?？芍苯犹峁?duì)話開(kāi)發(fā)、任務(wù)編排、插件執(zhí)行、知識(shí)接入、提示工程等5種定制優(yōu)化模式，以及辦公、代碼、客服、運(yùn)維、營(yíng)銷(xiāo)、采購(gòu)等10種以上即開(kāi)即用的豐富場(chǎng)景包，支持3種模型尺寸供用戶選擇。

值得注意的是，上個(gè)月，科大訊飛就宣布訊飛星火將與昇騰AI聯(lián)合，打造基于中國(guó)自主創(chuàng)新的通用智能新底座。一方面，訊飛星火認(rèn)知大模型基于訓(xùn)練推理一體化設(shè)計(jì)，實(shí)現(xiàn)大模型稀疏化、低精度量化的技術(shù)突破，能高效適配昇騰AI，加速大模型的行業(yè)落地應(yīng)用和迭代；另一方面，以昇騰AI為核心，軟硬件協(xié)同優(yōu)化，構(gòu)建算力集中、性能優(yōu)越、供給穩(wěn)定、數(shù)據(jù)安全的大模型訓(xùn)練集群。

在當(dāng)天的“訊飛星火認(rèn)知大模型V2.0升級(jí)發(fā)布會(huì)”演講中，劉慶峰更為細(xì)致地講解道，“華為跟科大訊飛共同在昇騰AI的軟硬件平臺(tái)和軟件的支撐工具上，把高算力AI芯片、高性能的算子庫(kù)、多卡高速互聯(lián)以及分布式存儲(chǔ)結(jié)合起來(lái)，尤其是我們聯(lián)合針對(duì)人工智能所需要的最重要的算子庫(kù)進(jìn)行甄別和打磨。然后在此基礎(chǔ)上，架構(gòu)科大訊飛的訓(xùn)練和數(shù)據(jù)閉環(huán)全流程設(shè)計(jì)，以及訓(xùn)練和推理一體化設(shè)計(jì)的自研大模型訓(xùn)練平臺(tái)，中間是支持大規(guī)模的異構(gòu)算力兼容，也支持混合云架構(gòu)易拓展，使得我們今天所看到的訊飛星火V2.0的演示以及所有產(chǎn)品，架構(gòu)在安全可控的平臺(tái)上?！?span style="box-sizing: border-box; margin: 0px; padding: 0px; border: 0px; outline: 0px; max-width: 100%; color: rgb(64, 64, 64);">

據(jù)悉，“訊飛星火認(rèn)知大模型V2.0”除了持續(xù)提升通用能力基礎(chǔ)外，重點(diǎn)突破代碼能力和多模態(tài)交互能力。據(jù)劉慶峰介紹，在OpenAI構(gòu)建的代碼能力的公開(kāi)測(cè)試集HumanEval上，訊飛星火大模型V2.0基于Python和C 進(jìn)行代碼寫(xiě)作的能力接近ChatGPT水平，差距僅為1%和2%，預(yù)計(jì)將于今年10月24日全面超越ChatGPT，明年上半年將正式對(duì)標(biāo)GPT-4。

目前，訊飛星火大模型擁有130億、650億和1750億3個(gè)版本的模型參數(shù)可選。圍繞星火大模型，科大訊飛正在構(gòu)建開(kāi)發(fā)者生態(tài)，目前有4000多個(gè)助手開(kāi)發(fā)者團(tuán)隊(duì)加入星火平臺(tái)。

編輯：芯智訊-林子 綜合自網(wǎng)絡(luò)