九章云極方磊：智算操九章云極方磊：智算操作系統(tǒng)，推進(jìn)算力邁入普惠智算新時(shí)代作系統(tǒng)，推進(jìn)算力邁入普惠智算新時(shí)代

WAIC 2024世界人工智能大會(huì)暨人工智能全球治理高級(jí)別會(huì)議正式拉開(kāi)帷幕，面向世界徐徐展示人工智能技術(shù)最前沿的理念和成果。九章云極DataCanvas公司董事長(zhǎng)方磊受邀參加大會(huì)開(kāi)幕式，并在“邁向AGI：大模型煥新與產(chǎn)業(yè)賦能”論壇發(fā)表主題演講，分享最新智算產(chǎn)業(yè)洞見(jiàn)。

“邁向AGI：大模型煥新與產(chǎn)業(yè)賦能”論壇作為WAIC 2024的重要主題論壇，由中國(guó)信通院承辦，論壇定位為“AI大模型頂尖盛會(huì)”，邀請(qǐng)人工智能領(lǐng)域國(guó)內(nèi)外知名院士、科技圈網(wǎng)紅大咖，和阿里云、九章云極DataCanvas公司等業(yè)內(nèi)領(lǐng)軍企業(yè)領(lǐng)袖，以及頂尖高校與科研機(jī)構(gòu)專(zhuān)家，與來(lái)自行業(yè)主管部門(mén)、國(guó)家實(shí)驗(yàn)室、國(guó)際組織等各界重磅嘉賓齊聚一堂，共探大模型驅(qū)動(dòng)新質(zhì)生產(chǎn)力發(fā)展的新潛能。

九章云極DataCanvas公司董事長(zhǎng)方磊發(fā)表演講

方磊受邀發(fā)表《智算操作系統(tǒng)——迎接軟件定義算力的新世界》主題演講，布道“智算操作系統(tǒng)”這一智算中心剛需的AI軟件，展現(xiàn)人工智能基礎(chǔ)軟件在算力經(jīng)濟(jì)時(shí)代的突破創(chuàng)新和無(wú)限可能。

智算操作系統(tǒng)——構(gòu)建上下游算力消納生態(tài)，普惠算力時(shí)代“新解”

智算中心作為我國(guó)AI基礎(chǔ)設(shè)施建設(shè)新版圖，正在AI生態(tài)鏈前所有未的凝聚力下加速建設(shè)進(jìn)程。隨著大模型的全民體驗(yàn)普及、行業(yè)大模型的爆發(fā)，如何為算力使用者高效輸出更好的算力資源的同時(shí)釋放智算經(jīng)濟(jì)價(jià)值，成為當(dāng)下智算中心面臨的多樣挑戰(zhàn)。

算力用戶的靈活需求逐步增加，GPU使用效率急需提升，智算中心無(wú)法僅通過(guò)裸金屬做到 “可度量、可切分、可轉(zhuǎn)換”的算力來(lái)精準(zhǔn)匹配消費(fèi)需求。在硬件同質(zhì)化趨勢(shì)下，作用在硬件之上的AI軟件就成為了智算“新解”。智算操作系統(tǒng)，作為智算時(shí)代創(chuàng)新升級(jí)的AI軟件產(chǎn)物，不只是傳統(tǒng)意義上硬件和軟件的橋接，更是構(gòu)建上下游算力消納生態(tài)、助力AI行業(yè)發(fā)展的關(guān)鍵一環(huán)。

那么，高性能的智算操作系統(tǒng)面臨哪些挑戰(zhàn)，又應(yīng)當(dāng)具備何種性能？

方磊介紹，新一輪的底層計(jì)算變革由大模型的崛起而引發(fā)，高速靈活算法的需求和底層相對(duì)固定硬件的匹配成為智算操作系統(tǒng)的核心挑戰(zhàn)。新時(shí)代的智算操作系統(tǒng)面臨異構(gòu)算例資源納管困難，大規(guī)模集群算力調(diào)度能力不足、利用率低，AI加速優(yōu)化能力不足，以及AI大模型訓(xùn)練微調(diào)門(mén)檻高等復(fù)合挑戰(zhàn)。因此，這一高度工程化的操作系統(tǒng)研發(fā)仍有較高門(mén)檻，需要成熟、標(biāo)準(zhǔn)化的AI產(chǎn)品直擊痛點(diǎn)。

九章云極DataCanvas公司董事長(zhǎng)方磊發(fā)表演講

此外，隨著AI行業(yè)的迅猛發(fā)展，行業(yè)信息差的加速消除，區(qū)別于通過(guò)購(gòu)租“裸金屬”獲得算力的單一方式，未來(lái)算力將作為社會(huì)普遍的“資源”，以“好用，用好”的普惠形態(tài)服務(wù)算力消費(fèi)者。構(gòu)建可持續(xù)發(fā)展的上下游算力消納生態(tài)，需要AI基礎(chǔ)硬件、AI基礎(chǔ)軟件和大模型應(yīng)用的共同發(fā)展促成，其中作為AI基礎(chǔ)軟件的智算操作系統(tǒng)在中間層將發(fā)揮至關(guān)重要的變革作用。

Alaya NeW智算操作系統(tǒng)——全棧AI創(chuàng)新，推動(dòng)AI技術(shù)繁榮

憑借九章云極DataCanvas公司十余年在人工智能平臺(tái)、“通識(shí)+產(chǎn)業(yè)”大模型矩陣以及前沿Agent智能體的AI軟件產(chǎn)品實(shí)力積淀和行業(yè)理解，內(nèi)置算力管理內(nèi)核、人工智能服務(wù)、大模型和智能體的Alaya NeW智算操作系統(tǒng)，通過(guò)自上而下的一體化創(chuàng)新，直擊痛點(diǎn)，加速賦能智算中心發(fā)展。

●   NeW Architecture面向AI的新軟硬一體架構(gòu)

Alaya NeW憑借先進(jìn)的異構(gòu)納管技術(shù)實(shí)現(xiàn)全面支持各廠家GPU算力，通過(guò)高性能的IB、RoCE網(wǎng)絡(luò)架構(gòu)配置優(yōu)化的網(wǎng)絡(luò)集合通訊算法，專(zhuān)為大模型設(shè)計(jì)的高性能存儲(chǔ)設(shè)施，以及Serverless彈性高性能計(jì)算架構(gòu)，全透明的資源調(diào)度管理，讓用戶得以從硬件資源管理中抽身、只專(zhuān)注AI核心訓(xùn)練和推理任務(wù)。

●   NeW Kernel先進(jìn)的AIDC OS系統(tǒng)內(nèi)核

Alaya NeW實(shí)現(xiàn)了跨中心算力智能調(diào)度，設(shè)置全功能Kernel和輕量Kernel來(lái)全面納管不同類(lèi)型算力中心和集群；面向大模型任務(wù)，Alaya NeW提供專(zhuān)用調(diào)度算法和策略，并通過(guò)故障感知、拓?fù)涓兄{(diào)度、GANG調(diào)度、動(dòng)態(tài)公平調(diào)度等能力實(shí)現(xiàn)更進(jìn)一步的調(diào)度優(yōu)化，全面提升算力可用性。

●   NeW Storage專(zhuān)為大模型設(shè)計(jì)的存儲(chǔ)設(shè)施

Alaya NeW為大模型需求匹配強(qiáng)大的跨越多智算中心的數(shù)據(jù)平臺(tái)NeW Dingo，通過(guò)多中心存儲(chǔ)、語(yǔ)料專(zhuān)用壓縮算法、文件系統(tǒng)物化視圖、文件系統(tǒng)與向量數(shù)據(jù)庫(kù)融合、原生安全策略等存儲(chǔ)技術(shù)，不僅實(shí)現(xiàn)70%-90%的空間節(jié)省，50%的網(wǎng)絡(luò)IO節(jié)省，其語(yǔ)料處理速度同時(shí)提升高達(dá)10倍。

●   LM Infra大模型基礎(chǔ)設(shè)施

Alaya NeW通過(guò)開(kāi)箱即用的高性能模型訓(xùn)練及推理服務(wù)（通過(guò)算法加速、編譯優(yōu)化、內(nèi)存優(yōu)化、通信加速實(shí)現(xiàn)訓(xùn)練效率提升100%、GPU利用率提升50%、推理速度提升4倍），安全的高性能私有化模型倉(cāng)庫(kù)，以及動(dòng)態(tài)模型推理服務(wù)和資源共享，成為高性能、高可用的大模型軟件基礎(chǔ)設(shè)施。

●   NeW Agent Team Up on Demand

Alaya NeW內(nèi)置強(qiáng)大的Foundation Agent基座，全面支持知識(shí)管理、數(shù)據(jù)分析、多模態(tài)智能體開(kāi)發(fā)；完整的Agent開(kāi)發(fā)工具鏈，面向開(kāi)源社區(qū)高度兼容和開(kāi)放；支持一鍵部署Agent，以及彈性、靈活的運(yùn)行時(shí)環(huán)境支持，為多樣化Agent在各行業(yè)業(yè)務(wù)場(chǎng)景應(yīng)用按下加速鍵。

方磊指出，Alaya NeW可謂是劃時(shí)代的前沿人工智能技術(shù)融合創(chuàng)新之作。Alaya NeW提供前所未有的交互模式，從Infra到Agent的各層AI能力，Alaya NeW都能夠以便捷交互的操作系統(tǒng)形式呈現(xiàn)。Alaya NeW不再是簡(jiǎn)單的AI軟件，不單能夠操作算力的納管、調(diào)度、調(diào)優(yōu)，它更是一個(gè)或一組Agent，用戶通過(guò)簡(jiǎn)單的交互指令即可實(shí)現(xiàn)復(fù)雜的大模型訓(xùn)練等AI任務(wù)，可以說(shuō)是用戶專(zhuān)屬的“數(shù)字化人工智能專(zhuān)家團(tuán)隊(duì)”。Alaya NeW正在通過(guò)全新的交互變革，打破大模型和Agent應(yīng)用壁壘。

中國(guó)始終積極擁抱智能變革，大力推進(jìn)人工智能創(chuàng)新發(fā)展。九章云極DataCanvas公司的智算操作系統(tǒng)產(chǎn)品，正是公司十余年創(chuàng)新人工智能基礎(chǔ)軟件研發(fā)和服務(wù)的又一力證，未來(lái)，公司將以Alaya NeW智算操作系統(tǒng)為抓手，與人工智能生態(tài)伙伴加速構(gòu)建穩(wěn)健可持續(xù)的智算產(chǎn)業(yè)生態(tài)，為我國(guó)智算經(jīng)濟(jì)發(fā)展輸出自主創(chuàng)新的AI動(dòng)力！