計算新時代?！?/span>
壁仞科技成立于2019年9月9日，再過一個月，就是其三周年的紀(jì)念日。團隊總共經(jīng)過1065個日日夜夜的奮戰(zhàn)，這才有了這款大算力芯片的誕生。在此之際，張文也宣布他的下一個小目標(biāo)：“百年基業(yè)長青”。BR100芯片采用7nm制程、壁仞原創(chuàng)“壁立仞”芯片架構(gòu)，容納近800億顆晶體管，配備超300MB片上高速SRAM，并應(yīng)用Chiplet與2.5D CoWoS封裝技術(shù)，突破了大尺寸芯片制造與封裝中的光罩尺寸限制問題，做到高良率與高性能的兼顧。
它也是國內(nèi)互連帶寬創(chuàng)紀(jì)錄芯片。BR100還首次引入了壁仞科技原創(chuàng)定義的TF32+數(shù)據(jù)精度，可提供比英偉達TF32更高的數(shù)據(jù)精度與吞吐性能。同時壁仞提供有配套的原創(chuàng)異構(gòu)計算平臺BIRENSUPA，提供端到端全棧覆蓋。
此外，壁仞科技與浪潮現(xiàn)場共同發(fā)布了創(chuàng)全球性能紀(jì)錄的OAM服務(wù)器“海玄”，其峰值浮點算力達8PFLOPS，最大功耗為7KW，并提供高能效、低TCO（總擁有成本）的數(shù)據(jù)中心集群方案。“我見過很多豪華的創(chuàng)業(yè)團隊失敗，但是從來沒見過有信仰的團隊失敗。”張文分享說，自己的創(chuàng)業(yè)理念是“做難而正確的事，真正替社會創(chuàng)造價值”。目前，壁仞科技團隊規(guī)模已超過900人，并有望在今年年底達到千人規(guī)模，其中85%以上擁有碩士及以上學(xué)位。除了通用GPU外，壁仞科技也啟動了圖形GPU產(chǎn)品線。圍繞BR100芯片的更多技術(shù)細節(jié)和落地進展，芯東西采訪了多位壁仞科技高層。壁仞科技聯(lián)合創(chuàng)始人、總裁徐凌杰告訴芯東西，BR100系列芯片以及相應(yīng)硬件計算產(chǎn)品將于今年年底量產(chǎn)。
01.全球最強性能通用GPU八大核心特性
壁仞科技BR100系列通用GPU算力產(chǎn)品針對AI訓(xùn)練、推理，以及更廣泛的通用計算場景而設(shè)計，主要應(yīng)用于數(shù)據(jù)中心部署場景，兼具高算力、高能效、高通用性等特點。
▲壁仞B(yǎng)R100芯片與英偉達H100/A100基礎(chǔ)規(guī)格對比
綜合來看，其旗艦產(chǎn)品BR100有8項核心特性：（1）先進制造及封裝技術(shù)：采用7nm制程工藝，在1074mm2芯片面積上集成了770億顆晶體管，并應(yīng)用了前沿的Chiplet與2.5D CoWoS封裝技術(shù)，能夠兼顧高良率與高性能。（2）高性能及高能效比：核心性能媲美英偉達最新推出的旗艦計算產(chǎn)品H100 GPU，較英偉達A100算力提升3倍以上。
（3）多數(shù)據(jù)精度支持：除了原生支持FP32、BF16、FP16、INT8等主流數(shù)據(jù)精度外，還支持壁仞原創(chuàng)定義的TF32+數(shù)據(jù)精度。與TF32相比，TF32+在滿足相同動態(tài)表示范圍的前提下，增加了5位尾數(shù)（mantissa），可實現(xiàn)比TF32更高的數(shù)據(jù)精度與吞吐性能，適用于大量的乘加計算。
（4）先進內(nèi)存系統(tǒng)：64GB HBM2e片外內(nèi)存，數(shù)據(jù)速率高達3.2Gbps，帶寬高達1.64TB/s，總計位寬4096bit。（5）先進互連系統(tǒng)： 原創(chuàng)BLink高速GPU互連技術(shù)，采用最新高速serDes技術(shù)，支持8卡點對點全互連，聚合帶寬達512GB/s，創(chuàng)國內(nèi)互連帶寬紀(jì)錄；采用最新一代主機接口PCIe 5.0并率先支持CXL 2.0通信協(xié)議，雙向帶寬高達128GB/s。
（6）安全虛擬實例（SVI）：最高支持8個獨立實例，每個實例物理隔離并配備獨立的硬件資源，可獨立運行。（7）國密安全規(guī)范：專用硬件加解密IP，支持 AES等常用安全加密算法，符合國密一級安全規(guī)范。（8）OCP規(guī)范硬件系統(tǒng)：符合OCP規(guī)范的OAM模組，最高支持550W TDP風(fēng)冷散熱，并在通用UBB主板上實現(xiàn)8卡點對點全互連。BR100系列還包含另一款主流級數(shù)據(jù)中心加速計算芯片BR104，可適配成熟、部署廣泛的PCIe板卡形態(tài)。
BR104搭載于訓(xùn)推一體主流級產(chǎn)品壁礪104 PCIe板卡上，它采用標(biāo)準(zhǔn)PCIe形態(tài)，整卡峰值功耗300W，適配多種2-4U的PCIe GPU服務(wù)器，與現(xiàn)有基礎(chǔ)設(shè)施高度兼容，現(xiàn)已開放邀測。
▲壁仞BR100系列產(chǎn)品與英偉達H100/A100規(guī)格對比
02.原創(chuàng)訓(xùn)推一體架構(gòu)，自研異構(gòu)計算平臺
針對通用大算力GPU面臨的內(nèi)存墻、功耗墻、并行性、互連和指令集架構(gòu)等挑戰(zhàn)，壁仞科技原創(chuàng)設(shè)計了訓(xùn)推一體芯片架構(gòu)“壁立仞”，并為其通用GPU打造了完備的BIRENSUPA軟件開發(fā)平臺。壁仞科技CTO洪洲負責(zé)主導(dǎo)其首款通用GPU芯片BR100的原創(chuàng)架構(gòu)研發(fā)設(shè)計，他將在今年8月26日舉行的GTIC 2022全球AI芯片峰會·高峰論壇上發(fā)表《大算力通用GPU賦能超大模型訓(xùn)練》主題演講。據(jù)他介紹，壁仞團隊在微架構(gòu)上，以通用計算核的設(shè)計為中心，搭配強大的張量計算引擎，來進行加速計算；同時采用自研指令集，以更高效地實現(xiàn)各功能運行。
具體來看，BR100有32個SPC流式處理器簇，每個SPC有16個EU執(zhí)行單元，每4個EU可配置成1個CU計算單元，每個SPC共4096個線程。而每個EU有16個通用流式處理器，同時包含采用脈動3D GEMM架構(gòu)的專用張量引擎。
BR100總計擁有8192個通用流式處理器、512組專用張量加速引擎，共128K個線程，配備256MB分布式共享L2級緩存，支持多SPC間數(shù)據(jù)共享，并可配置成大容量的scratchpad，還能支持不同層次的近存儲計算。
其自研的GPGPU架構(gòu)及指令集搭配多級緩存架構(gòu)，可實現(xiàn)大模型訓(xùn)練下的數(shù)據(jù)重用；基于NoC的通訊架構(gòu)，支持共享數(shù)據(jù)多播機制，可以與分布式緩存配合實現(xiàn)高效通信，大大減少對片外帶寬的需求，并大幅降低功耗。如前文所述，除了架構(gòu)設(shè)計外，BR100還采用了許多業(yè)界領(lǐng)先的芯片技術(shù)，包括風(fēng)頭漸盛的chiplet。洪洲向芯東西解釋說，對于可明確劃分功能模塊的芯片，或在公司產(chǎn)品線非常豐富、產(chǎn)品線之間可重復(fù)使用特定模塊的情況下，采用自研chiplet方案進行SoC功能模塊的復(fù)用可以縮短設(shè)計周期、降低設(shè)計成本并大幅提升良率。這要求芯片設(shè)計團隊具備對高速接口、大芯片封裝有豐富經(jīng)驗。
需注意的是，壁仞科技此次推出的通用GPU產(chǎn)品，主打面向云端數(shù)據(jù)中心場景的AI計算及通用科學(xué)計算，不能與圖形GPU劃等號。壁仞科技聯(lián)席CEO李新榮告訴芯東西，為了強化計算能力，通用GPU往往會弱化圖形渲染，并且往往沒有顯示輸出接口，并不能直接用于游戲等應(yīng)用（英偉達的專業(yè)計算卡雖也具備渲染能力，但也只能用于云端渲染）。這是由它的應(yīng)用場景和設(shè)計特點所決定的。另外，有部分人士會認(rèn)為專用AI芯片的能效比一定比通用GPU能效比高，可以取代通用GPU，但李新榮特別談道，這一觀點并不準(zhǔn)確，因為不同芯片的能效比受架構(gòu)、工藝等多種因素影響。即使某些專用芯片在特定場景下能效比高，也不一定能解決實際應(yīng)用場景的大算力計算問題，尤其在訓(xùn)練場景下，GPU芯片的絕對算力大、通用性強、軟件棧的易用性和豐富的軟件生態(tài)等特點使得它仍然占據(jù)數(shù)據(jù)中心的加速計算主導(dǎo)地位。
“在數(shù)據(jù)中心場景下，所謂的專用AI芯片要取代GPU已經(jīng)證明是非常困難的。”李新榮說。
與BR100系列芯片搭配，壁仞科技還自研了異構(gòu)計算平臺BIRENSUPA及配套軟件開發(fā)工具，支持業(yè)內(nèi)主流的深度學(xué)習(xí)框架與模型，從而為數(shù)據(jù)中心場景用戶提供靈活、安全的算力部署，有效降低數(shù)據(jù)中心的總擁有成本。
BIRENSUPA（BIREN Scalable Unified Parallel Architecture）平臺是壁仞科技硬件設(shè)備上開發(fā)深度學(xué)習(xí)和通用計算應(yīng)用的編程模型和軟件平臺，為應(yīng)用程序提供輕松訪問高性能并行處理硬件的能力，具備可開源、可擴展的特征。其完整軟件棧包括固件、驅(qū)動程序、編譯器、工具、編程模型、庫、機器學(xué)習(xí)（ML）框架和端到端應(yīng)用SDK，兼容TensorFlow、PyTorch、飛槳等主流深度學(xué)習(xí)框架。BIRENSUPA還支持壁仞自研高性能推理引擎并適配第三方推理引擎，支持現(xiàn)有GPU代碼平滑遷移。
03.已與重點客戶啟動產(chǎn)品適配進入測試階段
“今年三月底，還處于上海疫情風(fēng)控期間，壁仞B(yǎng)R100系列芯片率先回片，通過團隊的努力成功完成一次性點亮工作?！?/span>李新榮透露道，經(jīng)過4個多月的開發(fā)，BR100系列在硬件與軟件方面都取得進展，不僅芯片順利完成工程樣品的開發(fā)，與服務(wù)器設(shè)備的適配也有了階段性的成果，整體系統(tǒng)已在最短時間內(nèi)進入了產(chǎn)品化階段，并獲得了穩(wěn)定優(yōu)異的性能數(shù)據(jù)。
“作為一家國內(nèi)初創(chuàng)企業(yè)，第一次在極短的時間內(nèi)完成這樣的工作是非常難得的，足以證明我們在前期的設(shè)計工作是扎實的、可靠的、經(jīng)得住考驗的?！彼锌?。據(jù)徐凌杰分享，壁仞科技已與互聯(lián)網(wǎng)、云計算、金融、通信、數(shù)據(jù)中心的行業(yè)的頭部客戶簽署戰(zhàn)略協(xié)議，其中與重點客戶已啟動產(chǎn)品適配，并進入測試階段，獲得客戶積極的反饋。目前BR100應(yīng)用的重點領(lǐng)域以互聯(lián)網(wǎng)、通信運營商、行業(yè)AI等領(lǐng)域為主。現(xiàn)場，壁仞和浪潮共同發(fā)布為數(shù)據(jù)中心云端訓(xùn)練打造的“海玄”O(jiān)AM服務(wù)器及集群方案。“海玄”O(jiān)AM服務(wù)器可實現(xiàn)8PFLOPS浮點算力，最大功耗7KW。徐凌杰說，“海玄”O(jiān)AM服務(wù)器創(chuàng)全球單臺GPU服務(wù)器的算力紀(jì)錄，將于2022年第四季度開放邀測。
基于海玄OAM服務(wù)器，壁仞向市場提供一整套具有高性能、高性價比的集群式算力基礎(chǔ)設(shè)施解決方案。與國際廠商數(shù)據(jù)中心方案相比，壁仞的數(shù)據(jù)中心集群方案僅用1/3的服務(wù)器數(shù)量，實現(xiàn)了更高的浮點算力、更低的峰值能耗和占地空間，同時將標(biāo)準(zhǔn)煤發(fā)電量降低64%，具有高能效利用率、實用性、經(jīng)濟性、環(huán)境協(xié)調(diào)性等特性。
壁仞科技還宣布加入百度飛槳硬件生態(tài)共創(chuàng)計劃，BR100產(chǎn)品與百度飛槳已經(jīng)完成I級兼容性測試，達到兼容性要求。此外，為了更好服務(wù)全球開發(fā)者，壁仞科技開發(fā)者云已經(jīng)上線。
04.AI芯片進入拼落地時段
在李新榮看來，高質(zhì)量人才團隊、前沿的產(chǎn)品定位、微架構(gòu)創(chuàng)新能力、軟硬件的高效實現(xiàn)和交付能力等能力，構(gòu)成了壁仞科技的護城河。“壁仞提供的GPU芯片，不僅僅是解決國產(chǎn)芯片「有和無」的問題，更是解決性能「好和優(yōu)」的問題。BR100是一種面向客戶需求的具備超強算力的通用國產(chǎn)化產(chǎn)品方案，競爭力遙遙領(lǐng)先國內(nèi)同行?！毙炝杞苷f。就認(rèn)知而言，他認(rèn)為，壁仞團隊非常清楚只有追求更高的性能、更低的TCO才能獲得商業(yè)落地的優(yōu)勢，最重要的是產(chǎn)品競爭力要獲得商業(yè)客戶的認(rèn)可，才能最終做大做強。據(jù)徐凌杰觀察，近兩年，AI芯片、GPU芯片行業(yè)已經(jīng)過了單純講述PPT的時段，更多的是考驗企業(yè)在具體場景落地等方面的實踐。資本市場也更加關(guān)注芯片公司在客戶側(cè)的實際應(yīng)用落地反饋。在他看來，當(dāng)前AI芯片的比拼，關(guān)鍵在于打造有差異性的產(chǎn)品，深入了解客戶需求與應(yīng)用場景痛點，為客戶解決業(yè)務(wù)實際問題，以創(chuàng)新的架構(gòu)、突破的性能為目標(biāo)打造產(chǎn)品，而不僅僅是對標(biāo)已有產(chǎn)品，長期處于追趕狀態(tài)。“GPU芯片作為大國重器，是目前集成電路領(lǐng)域需要重點突破的關(guān)鍵環(huán)節(jié)，需要政府、企業(yè)、高校長期在技術(shù)、人才、資金等方面進行投入。”看向未來，他判斷國內(nèi)通用GPU產(chǎn)業(yè)往后發(fā)展，最好的結(jié)果是能產(chǎn)生1-2家芯片企業(yè)，真正趕超國際巨頭在加速計算芯片領(lǐng)域的市場地位；最差的結(jié)果是需要更長時間去建立國產(chǎn)芯片的技術(shù)壁壘，尤其在集成電路全球產(chǎn)業(yè)鏈持續(xù)分裂的趨勢下，這需要政府和國家投入更多的資源。
05.結(jié)語：用系統(tǒng)性思維解決通用GPU落地難題
在通往大規(guī)模商用落地的路上，國產(chǎn)通用GPU還有多道難關(guān)待闖。李新榮舉例說，這包括軟件棧的成熟度、客戶基礎(chǔ)設(shè)施的兼容性、產(chǎn)品的性價比、支持的應(yīng)用種類等都需持續(xù)優(yōu)化。目前，通用GPU面臨的一大關(guān)鍵技術(shù)瓶頸是提升能效比，現(xiàn)存計算體系架構(gòu)依然存在內(nèi)存墻、功耗墻等問題，計算資源規(guī)模很難在現(xiàn)有工藝技術(shù)下繼續(xù)實現(xiàn)快速翻倍。這要求GPU企業(yè)需要以系統(tǒng)性的思維去解決問題，包括封裝工藝、稀疏化、精度類型、光互連、近存儲計算等。為了應(yīng)對這些挑戰(zhàn)，李新榮說：“壁仞未來會繼續(xù)大力布局?jǐn)?shù)據(jù)中心的計算產(chǎn)品，持續(xù)優(yōu)化軟硬件，不斷擴展壁仞在智能計算領(lǐng)域的能力和行業(yè)觸角，推動產(chǎn)品落地和后續(xù)迭代?！?/span>
GTIC 2022演講預(yù)告
8月26日-27日，「GTIC 2022全球AI芯片峰會」將在深圳開啟。大會以“不負芯光 智算未來”為主題，將于深圳灣萬麗酒店大宴會廳舉行。
在大會首日上午舉行的AI芯片高峰論壇上，壁仞科技聯(lián)合創(chuàng)始人&CTO洪洲將發(fā)表主題為《大算力通用GPU賦能超大模型訓(xùn)練》的演講，分享下一代具有強大算力的通用GPU將如何支持萬億參數(shù)級別的超大模型訓(xùn)練，以高性能、高能效比、高通用性助力人工智能賦能百業(yè)。
*博客內(nèi)容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點，如有侵權(quán)請聯(lián)系工作人員刪除。
稱重傳感器相關(guān)文章:稱重傳感器原理
加入技術(shù)交流群
