迎接變革，至強可擴展處理器的技術(shù)創(chuàng)新為云端AI應用打通底層瓶頸

智能革命的浪潮之中，算力普慧、算法進化、數(shù)據(jù)爆發(fā)對AI基礎設施產(chǎn)品組合的要求更進一步，第五代英特爾? 至強? 可擴展處理器的發(fā)布則強化了英特爾在AI產(chǎn)品的完整版圖。

2023年，生成式AI研究和應用的爆發(fā)給云計算產(chǎn)業(yè)帶來了全新的機遇和挑戰(zhàn)：大模型需要龐大的算力支持，用戶普遍需要向云計算廠商購買算力服務；且由于大量用戶涌入云服務市場，云廠商需要盡快升級數(shù)據(jù)中心算力以應對AI需求，同時持續(xù)降低TCO，為用戶提供價格合理的算力資源；此外，AI應用開發(fā)還涉及大量隱私敏感數(shù)據(jù)的云端存儲和使用，云廠商也要全力保障這些數(shù)據(jù)的安全可靠，打消用戶后顧之憂。

基于上述需求，云廠商迫切需要對已有硬件基礎設施進行更新?lián)Q代，要求新一代CPU能在保障基礎設施平穩(wěn)升級迭代的同時，具備更強的性能、更低的TCO，同時能夠滿足云端多樣化工作負載需求的較強AI能力：

1. 對于大型云服務基礎設施而言，穩(wěn)定性、可靠性依然是王道，因此云服務廠商升級硬件時決策更加謹慎，偏向于在有著長期延續(xù)性的主流平臺上逐漸迭代，保護上層軟件應用投資，減小對基礎設施開發(fā)運維部門的沖擊。

2. 大模型在云端訓練、推理的過程需要用戶將大量數(shù)據(jù)傳輸至云端，云廠商需要采取更強的安全措施，如硬件級的安全引擎來更好地保障敏感數(shù)據(jù)的安全，確保云實例間的數(shù)據(jù)隔離，預防惡意入侵和泄漏。

3. AI應用涉及密集的低精度矩陣運算，需要較大的內(nèi)存空間。對于大模型推理應用和中小尺度（參數(shù)規(guī)模低于20B）模型的訓練應用而言，其在搭載AI加速器的CPU上運行可以獲得非常好的能耗比與性價比，還能夠以極具優(yōu)勢的TCO滿足云廠商大多數(shù)AI服務的需求。同時CPU的通用計算能力也可以為云廠商提供充足的靈活性，有效保護基礎設施投資。

面對上述需求，英特爾作為服務器CPU領域的技術(shù)領導者，繼年初發(fā)布第四代至強? 可擴展處理器之后，加快了產(chǎn)品更新節(jié)奏，于上周發(fā)布了第五代至強? 可擴展處理器，其可與上一代處理器兼容，提供硬件級安全和可信服務，并通過豐富的AI產(chǎn)品組合駕馭整個AI管線，從而進一步壯大了應對人工智能時代的產(chǎn)品組合。

技術(shù)創(chuàng)新解決三大維度需求，CPU 繼續(xù)扮演 AI 時代基礎設施關鍵角色

相比上一代產(chǎn)品，第五代至強? 可擴展處理器的核心數(shù)量增加至64個，擁有更高的單核性能和內(nèi)存帶寬，三級緩存容量提升近3倍。其每個內(nèi)核都具備AI加速功能，內(nèi)置的英特爾? AVX-512及英特爾? AMX，能使機器學習、深度學習和大模型應用的性能大幅提升。第五代至強? 可擴展處理器還能通過英特爾? SGX/TDX為使用中的云端數(shù)據(jù)提供端到端硬件級防護能力。與上一代至強? 可擴展處理器相比，五代至強? 在相同功耗下的平均性能提升了21%，而AI推理和訓練性能的提升更是高達42%和29%。

一系列技術(shù)創(chuàng)新，使第五代至強? 可擴展處理器成為AI時代云廠商的基礎設施關鍵角色。目前，已經(jīng)有多家客戶在實際業(yè)務中部署了第五代至強? 可擴展處理器，在實踐中證明了它為用戶帶來的巨大收益提升。其優(yōu)異的表現(xiàn)得到了客戶的很高評價，也讓更多準備升級云計算基礎設施的企業(yè)對新一代至強? 有了更高的期待。

英特爾 AMX提升大模型推理性能，助力京東升級營銷購物體驗

2023 年京東云突破性地在數(shù)百個AI場景中應用了大模型，在數(shù)百個營銷場景中升級了原有工作流，顯著提升了商家與消費者的購物體驗。

基于自研的言犀AI與大模型，京東云通過AIGC管道生成了30%的大促物料，京小智數(shù)字人、領航者營銷平臺也在大模型支持下獲得了高達87%的商品推薦采納率，消費者應答準確率提升30%。

京東大模型第一次亮相就收獲完美成績，很大程度上要歸功于其部署的基于第五代英特爾? 至強? 可擴展處理器的新一代自研服務器，與上一代自研服務器相比整機性能提升23%，關鍵的AI CV推理性能與 Llama v2大模型推理性能更是分別提升38%與51%。

取得如此顯著的AI推理能力進步，秘訣在于第五代至強? 可擴展處理器搭載的英特爾? AMX加速引擎。其可以將INT8低精度矩陣運算速度提升一個數(shù)量級，再結(jié)合第五代至強? 可擴展處理器更高的內(nèi)存帶寬與更強的多核心互聯(lián)能力，使AI推理性能相較上一代顯著提升。在11.11大促中，第五代至強? 可擴展處理器和英特爾? AMX的組合在京東云承載的 AI 推理應用服務中大展身手，助力用戶訪問峰值同比提升170%，智能客服咨詢服務量超14億次，且并未增加能耗，也將京東云基礎設施的運維成本維護在之前的水平內(nèi)。

英特爾? TDX賦能可信計算環(huán)境，為阿里云客戶構(gòu)筑端到端數(shù)據(jù)安全城墻

對于云計算廠商而言，要讓更多行業(yè)和組織信任云服務，就必須提供有足夠說服力的安全隱私保障，所以云廠商迫切需要更高水準的硬件級安全城墻。

對于云環(huán)境中使用狀態(tài)中的數(shù)據(jù)，機密計算是實現(xiàn)其有效保護的良策，其為客戶敏感數(shù)據(jù)提供了基于硬件設備的可信執(zhí)行環(huán)境（Trusted Execution Environment, TEE），通過隔離保護的方式來防止未經(jīng)授權(quán)的入侵者訪問或修改處理中的數(shù)據(jù)。作為機密計算技術(shù)的重要引領者，英特爾? 軟件防護擴展（英特爾? SGX）技術(shù)提供了應用層面的隔離能力；而在和阿里云的合作中，則由英特爾? TDX技術(shù)與阿里云新實例搭載的可信平臺模塊（TPM）相配合，結(jié)合阿里云自研的加密計算隔離環(huán)境enclave，為阿里云第八代企業(yè)級ECS實例g8i構(gòu)建了一個基于虛擬化的硬件可信環(huán)境，即為整個虛擬化實例（包括虛擬機、容器）都構(gòu)建出可信的邊界，由此為客戶提供了可信邊界更大、更易部署的安全云環(huán)境。

英特爾? TDX使TEE環(huán)境的可信邊界獲得了有效擴展，從而讓IaaS、PaaS等環(huán)境中的云工作負載都能整體納入機密計算的數(shù)據(jù)保護之下，能夠有效抵御惡意威脅，加強云端數(shù)據(jù)隔離。

阿里云自研的千問大模型就得到了英特爾? TDX的充分保護，實現(xiàn)模型數(shù)據(jù)端到端加密保護。英特爾? TDX技術(shù)為AI大模型這樣需要向云端傳輸大量數(shù)據(jù)的應用場景鑄就了足夠牢固的安全保障，也為生成式AI應用廣泛普及鋪平了信任道路。此外，在引入第五代至強? 可擴展處理器之后，第八代企業(yè)級ECS實例在計算、網(wǎng)絡、存儲、安全等工作負載中的都得到了顯著提升，在數(shù)據(jù)庫、硬件加解密、AI應用、音視頻等場景性能提升15%~25%不等。更重要的是，八代實例保持價格不變，使阿里云g8i實例可以用更小的性能開銷保障用戶的數(shù)據(jù)高度安全性。

第五代至強? 可擴展至強算力大升級，支持火山引擎實現(xiàn)降本增效目標

火山引擎的大規(guī)模云原生基礎設施包含超過一百萬臺服務器、上千萬容器實例，管理數(shù)十EB級別存儲資源，需要應對10 億+級QPS緩存峰值、10+TB/s的讀寫峰值帶寬，支持數(shù)億日活的應用訪問。

為了應對如此復雜的需求，火山引擎一直都選擇和信賴英特爾? 至強? 解決方案，并率先引入第五代至強? 可擴展處理器，助其第三代彈性計算實例加碼全新升級。

與基于第四代至強? 的彈性計算實例相比，第五代至強? 可擴展處理器助力火山引擎釋放了巨大算力和性能紅利，其彈性計算實例整機算力提升39%，內(nèi)存帶寬提升17%，并在AI、視頻處理性能、Java應用性能等方面均有40%左右的性能提升。火山引擎計劃推出使用英特爾原生硬件加速技術(shù)的能力升級，以Nginx為例，使用英特爾? QAT進行數(shù)據(jù)壓縮和證書驗證操作的吞吐量最高可提升5倍；在RocksDB中，使用英特爾? IAA進行數(shù)據(jù)壓縮讀寫的吞吐量最高可提升1.9倍。提升如此巨大的算力進化幅度，使火山引擎能夠使用相同的實例數(shù)量應對更多業(yè)務需求。

如今，火山引擎正在構(gòu)建百萬核心級別彈性資源池，為業(yè)務的流量增長、體驗創(chuàng)新與安全性增強提供海量算力保障。

第五代至強? 可擴展處理器提供澎湃的算力的同時，還與上一代處理器兼容，共享架構(gòu)與平臺，大大減少測試和驗證工作，其更高的性能、更好的安全性、更高的成本效益，已經(jīng)在頭部云服務提供商中得到全面驗證。

軟硬結(jié)合，打通AI創(chuàng)新底層瓶頸

除硬件方面的諸多創(chuàng)新，第五代至強? 可擴展處理器在軟件層面也搭建了良好的生態(tài)環(huán)境。例如，英特爾已經(jīng)在Pytorch、Tensorflow和OpenVINO? 工具套件等行業(yè)標準框架中提供了針對第五代至強? 可擴展處理器的優(yōu)化，使得云廠商和用戶能夠以較低的門檻，快速利用如英特爾? AMX等處理器功能，打通AI應用的算力瓶頸。英特爾? Trust Authority鑒證服務則能充分驗證TEE的有效性，發(fā)揮英特爾? SGX/TDX技術(shù)的優(yōu)勢。

如果說數(shù)據(jù)中心是一臺巨型計算機，那么CPU就是它的超級大腦，第五代英特爾? 至強? 可擴展處理器將一如既往地扮演核心角色。它與網(wǎng)絡、GPU、軟件技術(shù)棧等其他英特爾創(chuàng)新技術(shù)一起共同構(gòu)筑了上層AI應用的根基。而這樣的根基雖然能力強大，但并不需要用戶為此投入大量精力學習或增加運維投入。由此，企業(yè)就能將主要精力投入在業(yè)務創(chuàng)新中，并在 AI 浪潮中緊緊把握住市場機遇，開啟新的增長路徑。