燧原科技推中國(guó)最大AI計(jì)算芯片！公布最新產(chǎn)品路線圖

作者 |  心緣
編輯 |  漠影
芯東西7月7日?qǐng)?bào)道，在2021世界人工智能大會(huì)期間，上海燧原科技推出第二代云端AI訓(xùn)練芯片邃思2.0及訓(xùn)練產(chǎn)品云燧T20/T21，以及全新升級(jí)的馭算Topsrider 2.0軟件平臺(tái)。邃思2.0是迄今中國(guó)最大的AI計(jì)算芯片，采用日月光2.5D封裝的極限，在國(guó)內(nèi)率先支持TF32精度，單精度張量TF32算力可達(dá)160TFLOPS。同時(shí)，邃思2.0也是首個(gè)支持最先進(jìn)內(nèi)存HBM2E的產(chǎn)品。

云燧T20/T21基于邃思2.0而打造，由8000多張第二代云燧訓(xùn)練卡組成的云燧智算集群2.0，單精度最高算力達(dá)1.3EFLOPS，即130000TFLOPS。燧原科技成立于2018年3月，此前已相繼推出首款云端AI訓(xùn)練芯片邃思、首款云端AI訓(xùn)練加速卡云燧T10和AI推理加速卡云燧i10，以及配套的“馭算”軟件平臺(tái)。

成立至今，燧原科技連續(xù)獲得過5輪融資，累計(jì)融資額近32億元人民幣。其最新一筆融資為今年1月完成的18億人民幣C輪融資，由中信產(chǎn)業(yè)基金、中金資本旗下基金、春華資本領(lǐng)投。

公布最新五年產(chǎn)品路線圖

燧原科技創(chuàng)始人、COO張亞林公布了燧原產(chǎn)品定理：燧原的每一代產(chǎn)品必須比前一代在“平均業(yè)務(wù)”中每瓦性能提升超3倍，軟件后向兼容可靠。

現(xiàn)場(chǎng)，張亞林還發(fā)布了燧原科技的最新路線圖。到2023年，燧原科技計(jì)劃打造3款云端訓(xùn)練計(jì)算產(chǎn)品、3款云端推理計(jì)算產(chǎn)品，將性能功耗比提升至初代的14倍，并同步升級(jí)Matrix集群。

同一時(shí)期，馭算Topsrider軟件平臺(tái)從全棧模塊發(fā)展到訓(xùn)推一體，繼而走向泛AI生態(tài)。

燧原科技創(chuàng)始人兼CEO趙立東分享道，下面這些落地場(chǎng)景將形成燧原科技今年的收入。

燧原研發(fā)團(tuán)隊(duì)的主要成員均擁有15年以上的高端芯片及相關(guān)軟件生態(tài)系統(tǒng)開發(fā)和量產(chǎn)經(jīng)驗(yàn)，曾成功開發(fā)并量產(chǎn)多顆大型芯片。截至今年5月，其團(tuán)隊(duì)規(guī)模已經(jīng)超過500人，其中近90%為研發(fā)團(tuán)隊(duì)，博士及碩士占比近70%。目前燧原已獲得52項(xiàng)專利，其中包括45項(xiàng)發(fā)明專利，同時(shí)有近30項(xiàng)專利正在申請(qǐng)中。這些專利內(nèi)容涵蓋了芯片的運(yùn)算單元、核心功能模塊、到封裝及系統(tǒng)集群，以及軟件的架構(gòu)和優(yōu)化。超大規(guī)模智算集群，最高算力達(dá)1.3E

今天，燧原科技推出與友商合作打造的全新產(chǎn)品品牌云燧智算集群CloudBlazer Matrix 2.0，集合8192張?jiān)旗萦?xùn)練卡，可實(shí)現(xiàn)最高1.3E（130000T）的單精度智能算力集群

“在全世界還沒有人能達(dá)到在單精度算力上用8000張卡實(shí)現(xiàn)超過1E的算力?！睆垇喠终f(shuō)，這代表著燧原科技正式用集群化產(chǎn)品登上中國(guó)智能計(jì)算和新基建算力的舞臺(tái)。同時(shí)，云燧智算集群能驅(qū)動(dòng)綠色數(shù)字化，液冷PUE可降到1.5以下，大幅提升整個(gè)集群的能效。燧原與合作伙伴的聯(lián)合開發(fā)，一起構(gòu)建超大規(guī)模的液冷智能數(shù)據(jù)中心，以響應(yīng)國(guó)家“低碳算力”和“綠色一體化智能計(jì)算”的戰(zhàn)略方向。

國(guó)內(nèi)最大AI芯片，五大特性解讀

燧原云燧智算集群2.0包括邃思DTU 2.0、云燧T20和T21訓(xùn)練產(chǎn)品、新一代馭算軟件，能有效降低AI超算集群的整體復(fù)雜度和成本。其中，燧原科技第二代云端AI訓(xùn)練芯片邃思DTU 2.0經(jīng)過了全新升級(jí)迭代，其計(jì)算能力、存儲(chǔ)和帶寬、互聯(lián)能力較第一代訓(xùn)練產(chǎn)品有巨大提升，對(duì)超大規(guī)模的模型支持能力獲得顯著增強(qiáng)。

1、封裝：中國(guó)最大的計(jì)算芯片張亞林介紹道，邃思2.0是中國(guó)最大尺寸的計(jì)算芯片，采用2.5D高級(jí)封裝技術(shù)，突破了臺(tái)灣頂級(jí)封裝合作伙伴的封裝歷史極限，共整合9顆芯片，實(shí)現(xiàn)57.5mm x 57.5mm的封裝尺寸。

2、計(jì)算：TF32精度峰值算力達(dá)160TFLOPS邃思2.0進(jìn)行了大規(guī)模的架構(gòu)升級(jí)，新一代全自研的GCU-CARA全域計(jì)算架構(gòu)針對(duì)AI計(jì)算的特性進(jìn)行深度優(yōu)化，夯實(shí)了支持通用異構(gòu)計(jì)算的基礎(chǔ)。該芯片支持全面的計(jì)算精度，涵蓋從FP32、TF32、FP16、BF16到INT8。張亞林說(shuō)，這是中國(guó)首款支持單精度張量TF32數(shù)據(jù)精度的AI芯片，算力達(dá)160TFLOPS。在單精度FP32下，邃思2.0的峰值算力達(dá)到40 TFLOPS；同時(shí)該芯片支持定點(diǎn)整數(shù)精度，峰值算力達(dá)320TOPS。

3、數(shù)據(jù)：植入完全可編程的數(shù)據(jù)流數(shù)據(jù)被認(rèn)為是AI在芯片處理上僅次于計(jì)算的部分，因?yàn)閿?shù)據(jù)流的處理會(huì)直接決定計(jì)算的效率，燧原科技在整個(gè)芯片內(nèi)部，植入了完全可編程的數(shù)據(jù)流。軟件指令驅(qū)動(dòng)的傳輸和數(shù)據(jù)計(jì)算，保證了數(shù)據(jù)的吞吐量，以及不同模型下的效率，完全支撐標(biāo)量、向量和張量的高效數(shù)據(jù)處理，以及多地址廣播。4、存儲(chǔ)：率先支持HBM2E先進(jìn)存儲(chǔ)邃思2.0的中心是主芯片，在邊緣有4顆三星最先進(jìn)的存儲(chǔ)芯片HBM2E，高配支持64GB內(nèi)存，最大帶寬達(dá)1.8TB/s。據(jù)悉，這是中國(guó)首款支持世界最先進(jìn)存儲(chǔ)HBM2E和單芯片64GB內(nèi)存的產(chǎn)品。5、互聯(lián)：高速互聯(lián)支撐算力擴(kuò)展GCU-LARE全域互聯(lián)技術(shù)是燧原專為AI訓(xùn)練集群研發(fā)的互聯(lián)技術(shù)，提供雙向300 GB/s互聯(lián)帶寬，支持?jǐn)?shù)千張?jiān)旗軨loudBlazer加速卡互聯(lián)，可實(shí)現(xiàn)優(yōu)異的線性加速比。

訓(xùn)練卡算力比肩友商旗艦

云燧T20和云燧T21是基于邃思2.0打造的兩款A(yù)I訓(xùn)練加速板卡。具體參數(shù)如下：

燧原科技還現(xiàn)場(chǎng)展示了T20的Benchmark，由圖可見，云燧T20 TF32精度性能平均2.5倍于友商次旗艦。

在多類模型測(cè)試中，云燧T20與友商旗艦性能幾乎不分伯仲。

軟件平臺(tái)同步升級(jí)：更高更快更通用

此次同步升級(jí)的馭算Topsrider，是燧原科技自主知識(shí)產(chǎn)權(quán)的計(jì)算及編程平臺(tái)。張亞林介紹道：“升級(jí)后的馭算軟件平臺(tái)更加便捷易用和客戶友好，燧原科技也可針對(duì)客戶的場(chǎng)景和業(yè)務(wù)模型提供軟件定制化服務(wù)和優(yōu)化，打造差異化解決方案。”

總體來(lái)說(shuō)，馭算Topsrider2.0有三大特點(diǎn)：更高性能算力、更便捷高效開發(fā)、更靈活通用支持。升級(jí)的馭算平臺(tái)通過軟硬件協(xié)同架構(gòu)設(shè)計(jì)，充分發(fā)揮邃思2.0的性能，并借助側(cè)寫工具、自動(dòng)化調(diào)整等功能進(jìn)一步釋放硬件算力，同時(shí)，其高效并行通信庫(kù)支持超大集群高線性加速比。該平臺(tái)對(duì)開發(fā)者很友好。開放升級(jí)的編程模型和可擴(kuò)展的算子接口，為客戶模型的優(yōu)化提供了快捷的自定義算子開發(fā)能力。馭算也提供完善編譯器和工具鏈支持、開箱即用的圖形化整合開發(fā)環(huán)境、動(dòng)態(tài)形狀自動(dòng)編譯和高性能運(yùn)行支持。當(dāng)前馭算Topsrider2.0基于算子泛化技術(shù)及圖優(yōu)化策略，可支持主流深度學(xué)習(xí)框架下的各類模型訓(xùn)練和ONNX模型轉(zhuǎn)換；設(shè)備虛擬化方面，最大可支持4個(gè)MID用戶。
公布“燎原”計(jì)劃，構(gòu)建通用異構(gòu)計(jì)算生態(tài)

面向生態(tài)建設(shè)，燧原科技創(chuàng)始人兼CEO趙立東宣布推出燧原異構(gòu)計(jì)算生態(tài)“燎原”計(jì)劃，有原始創(chuàng)新、標(biāo)準(zhǔn)化、生態(tài)共建三大特征。這一計(jì)劃的目標(biāo)是以AI為起點(diǎn)，構(gòu)建通用異構(gòu)計(jì)算生態(tài)，構(gòu)建標(biāo)準(zhǔn)化技術(shù)體系，共建完整生態(tài)服務(wù)數(shù)字中國(guó)。

除了在深度學(xué)習(xí)計(jì)算、通用人工智能領(lǐng)域外，燎原計(jì)劃還會(huì)透過通用異構(gòu)計(jì)算來(lái)涵蓋科學(xué)和工程計(jì)算，以及視覺計(jì)算相關(guān)的視頻編解碼和圖形渲染等。趙立東說(shuō)，這個(gè)表列將根據(jù)市場(chǎng)發(fā)展和需求不斷增加。

“燧原已經(jīng)在原始創(chuàng)新的路上了，但是，所有的事情必須要腳踏實(shí)地?！壁w立東說(shuō)，“這才能夠使得我們真正實(shí)現(xiàn)自主可控、原始創(chuàng)新，真正建立中國(guó)強(qiáng)大的人工智能算力。路雖遠(yuǎn)，行則將至。事雖難，不做不成?！?/span>結(jié)語(yǔ)：國(guó)產(chǎn)云端AI芯片走向落地新競(jìng)賽

完全自研的軟硬件架構(gòu)，使得燧原科技在知識(shí)產(chǎn)權(quán)和產(chǎn)品升級(jí)迭代上可以自主掌控方向和節(jié)奏。成立三年以來(lái)，燧原科技嚴(yán)格遵循每年推出一款云端計(jì)算新品的節(jié)奏，完成了大芯片、軟件全棧、系統(tǒng)集群從產(chǎn)品定義、設(shè)計(jì)驗(yàn)證、流片到產(chǎn)品的最終商業(yè)落地。這樣的研發(fā)速度和落地能力，在國(guó)內(nèi)云端AI芯片創(chuàng)企中當(dāng)屬前排。如今云端AI芯片賽道持續(xù)受到資本的青睞，更多的新興初創(chuàng)公司選擇涌入其中，賽道正變得愈發(fā)擁擠。與此同時(shí)，隨著更多云端AI芯片產(chǎn)品開始走向落地，誰(shuí)能脫穎而出，將交給市場(chǎng)來(lái)說(shuō)話。