亞馬遜云科技推出由自研芯片支持的三款A(yù)mazon EC2新實(shí)例

亞馬遜云科技在2022 re:Invent全球大會(huì)上宣布，推出三款分別由三種新的自研芯片支持的Amazon Elastic Compute Cloud（Amazon EC2）實(shí)例，為客戶(hù)廣泛的工作負(fù)載提供更高性?xún)r(jià)比。Hpc7g實(shí)例配備了Amazon自研的最新 Graviton3E處理器，與當(dāng)前一代C6gn實(shí)例相比浮點(diǎn)性能提高了2倍，與當(dāng)前一代Hpc6a實(shí)例相比性能提高了20%，為亞馬遜云科技上的高性能計(jì)算工作負(fù)載提供了超高性?xún)r(jià)比。配備了新一代Amazon Nitro的C7gn實(shí)例，與當(dāng)前一代網(wǎng)絡(luò)優(yōu)化型實(shí)例相比，為每個(gè)CPU提供了多達(dá)2倍的網(wǎng)絡(luò)帶寬，同時(shí)將每秒數(shù)據(jù)包轉(zhuǎn)發(fā)性能提升50%，為網(wǎng)絡(luò)密集型工作負(fù)載提供了超高的網(wǎng)絡(luò)帶寬、數(shù)據(jù)包轉(zhuǎn)發(fā)性能和性?xún)r(jià)比。Inf2實(shí)例配備了Amazon自研的最新Inferentia2機(jī)器學(xué)習(xí)加速推理芯片，是專(zhuān)門(mén)為運(yùn)行多達(dá)1,750億個(gè)參數(shù)的大型深度學(xué)習(xí)模型而構(gòu)建的，與當(dāng)前一代Inf1實(shí)例相比可提供高達(dá)4倍的吞吐量，降低多達(dá)10倍的延遲，以最低的成本為Amazon EC2上的機(jī)器學(xué)習(xí)推理提供最低延遲。

亞馬遜云科技擁有十多年芯片設(shè)計(jì)經(jīng)驗(yàn)，在云中以更低成本實(shí)現(xiàn)更高的性能和可擴(kuò)展性。十多年來(lái)，亞馬遜云科技推出了多種定制化的芯片設(shè)計(jì)，幫助客戶(hù)運(yùn)行要求更高的工作負(fù)載，包括更快的處理速度、更高的內(nèi)存容量、更快的存儲(chǔ)輸入/輸出（I/O）和更高的網(wǎng)絡(luò)帶寬。亞馬遜云科技自2013年推出Amazon Nitro系統(tǒng)以來(lái)，已經(jīng)開(kāi)發(fā)了多個(gè)自研芯片，包括五代Nitro系統(tǒng)、致力于為各種工作負(fù)載提升性能和優(yōu)化成本的三代Graviton芯片、用于加速機(jī)器學(xué)習(xí)推理的兩代Inferentia芯片，以及用于加速機(jī)器學(xué)習(xí)訓(xùn)練的Trainium芯片。亞馬遜云科技在芯片設(shè)計(jì)和驗(yàn)證的敏捷開(kāi)發(fā)周期中使用基于云的電子設(shè)計(jì)自動(dòng)化，這使團(tuán)隊(duì)能夠更快地創(chuàng)新，更快地將芯片提供給客戶(hù)。實(shí)踐證明，亞馬遜云科技更現(xiàn)代化、更節(jié)能的半導(dǎo)體處理確保了芯片的快速迭代及交付。每推出一款新的芯片，亞馬遜云科技都進(jìn)一步提升了這些芯片支持的Amazon EC2實(shí)例的性能、效率以及更優(yōu)化的成本，為客戶(hù)提供了更多的芯片和實(shí)例組合選擇，針對(duì)他們獨(dú)特的工作負(fù)載進(jìn)行了優(yōu)化。

亞馬遜云科技Amazon EC2副總裁David Brown表示："從Graviton到Trainium、Inferentia再到Nitro，亞馬遜云科技每一代自研芯片都為客戶(hù)的各種工作負(fù)載提供更高的性能、更優(yōu)化的成本和更高的能效。我們不斷推陳出新讓客戶(hù)獲得卓越的性?xún)r(jià)比，這也一直驅(qū)動(dòng)著我們的持續(xù)創(chuàng)新。我們今天推出的Amazon EC2實(shí)例為高性能計(jì)算、網(wǎng)絡(luò)密集型工作負(fù)載和機(jī)器學(xué)習(xí)推理工作負(fù)載提供了顯著的性能提升，客戶(hù)有了更多的實(shí)例選擇來(lái)滿(mǎn)足他們的特定需求。"

Hpc7g實(shí)例專(zhuān)為在Amazon EC2上大規(guī)模運(yùn)行高性能計(jì)算工作負(fù)載提供超高性?xún)r(jià)比

很多領(lǐng)域的組織需要依靠高性能計(jì)算來(lái)解決復(fù)雜的學(xué)術(shù)、科學(xué)和商業(yè)問(wèn)題。當(dāng)前，眾多客戶(hù)如阿斯利康、F1一級(jí)方程式賽車(chē)、Maxar Technologies等在亞馬遜云科技上借助其提供的卓越的安全性、可擴(kuò)展性和彈性，運(yùn)行傳統(tǒng)的高性能計(jì)算工作負(fù)載，包括基因組學(xué)處理、計(jì)算流體動(dòng)力學(xué)和天氣預(yù)報(bào)模擬等。工程師、研究人員和科學(xué)家使用Amazon EC2網(wǎng)絡(luò)優(yōu)化型實(shí)例（如C5n、R5n、M5n和C6gn）運(yùn)行高性能計(jì)算工作負(fù)載，這些實(shí)例提供了近乎無(wú)限的計(jì)算能力和服務(wù)器之間的高網(wǎng)絡(luò)帶寬，實(shí)現(xiàn)數(shù)千個(gè)內(nèi)核處理和交換數(shù)據(jù)。雖然這些實(shí)例的性能足以滿(mǎn)足目前大多數(shù)高性能計(jì)算場(chǎng)景，但人工智能和自動(dòng)駕駛汽車(chē)等新興應(yīng)用需要高性能計(jì)算優(yōu)化實(shí)例，可以擴(kuò)展到數(shù)萬(wàn)個(gè)甚至更多的內(nèi)核，進(jìn)一步解決難度系數(shù)持續(xù)增加的問(wèn)題并降低高性能計(jì)算工作負(fù)載的成本。

Hpc7g實(shí)例由新的Amazon Graviton3E芯片提供支持，為客戶(hù)在Amazon EC2上的高性能計(jì)算工作負(fù)載（如計(jì)算流體動(dòng)力學(xué)、天氣模擬、基因組學(xué)和分子動(dòng)力學(xué)等）提供了超高的性?xún)r(jià)比。與采用Graviton2處理器的當(dāng)前一代C6gn實(shí)例相比，Hpc7g實(shí)例的浮點(diǎn)性能提高了2倍，與當(dāng)前一代Hpc6a實(shí)例相比性能提高了20%，讓客戶(hù)能夠在多達(dá)數(shù)萬(wàn)個(gè)內(nèi)核的高性能計(jì)算集群中進(jìn)行復(fù)雜的計(jì)算。Hpc7g實(shí)例還提供高內(nèi)存帶寬和200Gbps的EFA （Elastic Fabric Adapter，彈性結(jié)構(gòu)適配器）網(wǎng)絡(luò)帶寬，可以更快的運(yùn)行并完成高性能計(jì)算應(yīng)用?？蛻?hù)可以通過(guò)開(kāi)源的集群管理工具Amazon ParallelCluster使用Hpc7g實(shí)例，與其它實(shí)例類(lèi)型一起配置Hpc7g實(shí)例，這讓客戶(hù)在同一個(gè)高能性計(jì)算集群中靈活運(yùn)行不同的工作負(fù)載類(lèi)型。有關(guān)高性能計(jì)算（HPC）實(shí)例的更多信息，

C7gn實(shí)例為網(wǎng)絡(luò)密集型工作負(fù)載提供極佳性能，具有更高的網(wǎng)絡(luò)帶寬、更高的數(shù)據(jù)包轉(zhuǎn)發(fā)性能和更低的延遲

客戶(hù)使用Amazon EC2網(wǎng)絡(luò)優(yōu)化型實(shí)例運(yùn)行其要求極其嚴(yán)苛的網(wǎng)絡(luò)密集型工作負(fù)載，如網(wǎng)絡(luò)虛擬化設(shè)備（包括防火墻、虛擬路由器和負(fù)載均衡器等）和數(shù)據(jù)加密業(yè)務(wù)等?？蛻?hù)需要為這些工作負(fù)載擴(kuò)展性能，以處理不斷增加的網(wǎng)絡(luò)流量來(lái)應(yīng)對(duì)業(yè)務(wù)高峰，或者縮短處理時(shí)間為最終用戶(hù)提供更好的體驗(yàn)。當(dāng)前，為獲得更多的網(wǎng)絡(luò)吞吐量，客戶(hù)采用更大型號(hào)的實(shí)例，部署遠(yuǎn)高于需求的計(jì)算資源，導(dǎo)致成本增加。這些客戶(hù)為減少數(shù)據(jù)處理時(shí)間，需要更高的數(shù)據(jù)包轉(zhuǎn)發(fā)性能、更高的網(wǎng)絡(luò)帶寬以及更快的加密性能。

C7gn實(shí)例采用新的、具有網(wǎng)絡(luò)加速功能的第五代Nitro，在Amazon EC2網(wǎng)絡(luò)優(yōu)化型實(shí)例中具有最高的網(wǎng)絡(luò)帶寬和數(shù)據(jù)包處理性能，而且功耗更低。Nitro卡將主機(jī)CPU的I/O功能卸載到專(zhuān)門(mén)的硬件并進(jìn)行加速，將Amazon EC2實(shí)例的所有資源幾乎都提供給客戶(hù)的工作負(fù)載，從而以更低的CPU利用率實(shí)現(xiàn)更穩(wěn)定的性能。新款A(yù)mazon Nitro卡使C7gn實(shí)例的每個(gè)CPU提供高達(dá)2倍的網(wǎng)絡(luò)帶寬，將每秒數(shù)據(jù)包處理性能提升50%，與當(dāng)前一代網(wǎng)絡(luò)優(yōu)化型Amazon EC2實(shí)例相比，進(jìn)一步降低了EFA網(wǎng)絡(luò)延遲。與C6gn實(shí)例相比，C7gn實(shí)例提高了多達(dá)25%的計(jì)算性能及多達(dá)2倍的加密性能。第五代Nitro比第四代Nitro效能功耗比提升40%，進(jìn)一步降低了客戶(hù)工作負(fù)載的能量消耗。C7gn實(shí)例通過(guò)擴(kuò)展網(wǎng)絡(luò)性能和吞吐量以及減少網(wǎng)絡(luò)延遲，優(yōu)化了客戶(hù)在Amazon EC2上要求最嚴(yán)苛的網(wǎng)絡(luò)密集型工作負(fù)載的成本。C7gn實(shí)例目前提供預(yù)覽版，

Inf2實(shí)例專(zhuān)為部署當(dāng)今最嚴(yán)苛的深度學(xué)習(xí)模型而設(shè)計(jì)，支持分布式推理和隨機(jī)舍入算法

為提供更好的應(yīng)用或者更加定制的個(gè)性化體驗(yàn)，數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師正在構(gòu)建更大、更復(fù)雜的深度學(xué)習(xí)模型。例如，越來(lái)越普遍的超過(guò)1,000億個(gè)參數(shù)的大型語(yǔ)言模型（LLM），由于它們需要巨量的數(shù)據(jù)進(jìn)行訓(xùn)練，這推動(dòng)了對(duì)計(jì)算需求的空前增長(zhǎng)。雖然訓(xùn)練備受大家關(guān)注，但在生產(chǎn)中運(yùn)行機(jī)器學(xué)習(xí)，大部分的復(fù)雜性和成本卻在推理上（例如，每花1美元用于訓(xùn)練，將有多達(dá)9美元用于推理），這限制了推理的使用并阻礙了客戶(hù)創(chuàng)新?？蛻?hù)希望在其應(yīng)用中大規(guī)模使用先進(jìn)的深度學(xué)習(xí)模型，但卻受限于高額的計(jì)算成本。當(dāng)亞馬遜云科技在2019年推出Inf1實(shí)例時(shí)，深度學(xué)習(xí)模型具有數(shù)百萬(wàn)個(gè)參數(shù)。此后，深度學(xué)習(xí)模型的規(guī)模和復(fù)雜性呈指數(shù)級(jí)增長(zhǎng)，甚至有些深度學(xué)習(xí)模型的參數(shù)增長(zhǎng)了500倍，超過(guò)了數(shù)千億。致力于使用最先進(jìn)的深度學(xué)習(xí)技術(shù)，開(kāi)發(fā)下一代應(yīng)用的客戶(hù)，希望擁有高性?xún)r(jià)比、高能效的硬件，實(shí)現(xiàn)低延遲、高吞吐量的推理以及靈活的軟件的支持，讓工程團(tuán)隊(duì)能夠快速大規(guī)模地部署其業(yè)務(wù)創(chuàng)新。

Inf2實(shí)例，配備了Amazon自研的最新款I(lǐng)nferentia2機(jī)器學(xué)習(xí)加速推理芯片，可以運(yùn)行高達(dá)1,750億個(gè)參數(shù)的大型深度學(xué)習(xí)模型（如LLM、圖像生成和自動(dòng)語(yǔ)音檢測(cè)），同時(shí)在Amazon EC2上提供最低的單次推理成本。Inf2是第一個(gè)支持分布式推理的推理優(yōu)化型Amazon EC2實(shí)例，該技術(shù)將大型模型分布在多個(gè)芯片上，為參數(shù)超過(guò)1,000億的深度學(xué)習(xí)模型提供極佳性能。Inf2實(shí)例支持隨機(jī)舍入，這種以概率方式進(jìn)行四舍五入的方式與傳統(tǒng)的四舍五入相比，能夠提供更高的性能和更高的精度。Inf2實(shí)例支持廣泛的數(shù)據(jù)類(lèi)型，包括可提高吞吐量并降低了每次推理功耗的CFP8，和可提升尚未利用到低精度數(shù)據(jù)類(lèi)型模塊性能的FP32?？蛻?hù)可以通過(guò)用于機(jī)器學(xué)習(xí)推理的統(tǒng)一軟件開(kāi)發(fā)工具包Amazon Neuron開(kāi)始使用Inf2實(shí)例。Amazon Neuron與PyTorch和TensorFlow等流行的機(jī)器學(xué)習(xí)框架集成，幫助客戶(hù)僅需少量代碼改動(dòng)就能將現(xiàn)有模型部署到Inf2實(shí)例。由于大型模型需要多個(gè)芯片支持，芯片之間需要實(shí)現(xiàn)快速通信，Inf2實(shí)例支持亞馬遜云科技的實(shí)例內(nèi)部高速互連技術(shù)NeuronLink，提供192GB/s的環(huán)形連接。與當(dāng)前一代Inf1實(shí)例相比，Inf2實(shí)例提供了高達(dá)4倍的吞吐量，降低多達(dá)10倍的延遲，與基于GPU的實(shí)例相比，它的每瓦性能提升高達(dá)45%。Inf2實(shí)例目前提供預(yù)覽版，

Arup（奧雅納）是一家由設(shè)計(jì)師、工程與可持續(xù)發(fā)展咨詢(xún)師、顧問(wèn)和專(zhuān)家組成的全球性公司，致力于踐行可持續(xù)發(fā)展，并利用想象力、技術(shù)和嚴(yán)謹(jǐn)?shù)膽B(tài)度來(lái)建造一個(gè)更美好的世界。 "我們使用亞馬遜云科技的服務(wù)來(lái)運(yùn)行高度復(fù)雜的模擬，幫助我們的客戶(hù)建造下一代高層建筑、體育場(chǎng)館、數(shù)據(jù)中心和關(guān)鍵基礎(chǔ)設(shè)施，同時(shí)對(duì)影響大家生活的城市微氣候、全球變暖和氣候變化進(jìn)行評(píng)估并提供洞察。" 奧雅納高級(jí)工程師Sina Hassanli博士說(shuō)，"我們的客戶(hù)希望能以更低的成本進(jìn)行更快、更準(zhǔn)確的模擬，以便在開(kāi)發(fā)的早期階段為其設(shè)計(jì)提供信息。我們期待借助更高性能的Amazon EC2 Hpc7g實(shí)例，幫助我們的客戶(hù)實(shí)現(xiàn)更快、更有效的創(chuàng)新。"

Aerospike公司的實(shí)時(shí)數(shù)據(jù)平臺(tái)旨在幫助組織構(gòu)建應(yīng)用程序，以打擊欺詐、支持全球數(shù)字支付、為數(shù)千萬(wàn)客戶(hù)提供超個(gè)性化的用戶(hù)體驗(yàn)等。 "Aerospike 實(shí)時(shí)數(shù)據(jù)平臺(tái)是一個(gè)無(wú)共享（shared-nothing）、多線(xiàn)程、多模態(tài)的數(shù)據(jù)平臺(tái)，旨在通過(guò)服務(wù)器集群高效運(yùn)行，利用現(xiàn)代硬件和網(wǎng)絡(luò)技術(shù)，為PB級(jí)數(shù)據(jù)以亞毫秒的速度提供可靠地高性能 。"Aerospike 首席產(chǎn)品官 Lenley Hensarling表示， "在我們最近的實(shí)時(shí)數(shù)據(jù)庫(kù)讀取測(cè)試中，我們很高興看到，采用新一代Amazon Nitro的 Amazon EC2 C7gn 實(shí)例與 C6gn 實(shí)例相比，每秒交易量顯著提升。我們期待著C7gn 實(shí)例以及未來(lái)更多亞馬遜云科技基礎(chǔ)設(shè)施提升帶給我們的諸多優(yōu)勢(shì)。"

Qualtrics是一家設(shè)計(jì)和開(kāi)發(fā)體驗(yàn)管理軟件公司。"Qualtrics的重點(diǎn)是借助技術(shù)創(chuàng)新，縮小客戶(hù)、員工、品牌和產(chǎn)品之間的體驗(yàn)差距。為實(shí)現(xiàn)這一目標(biāo)，我們正在開(kāi)發(fā)復(fù)雜的多任務(wù)、多模態(tài)的深度學(xué)習(xí)模型，包括文本分類(lèi)、序列標(biāo)記、話(huà)語(yǔ)分析、關(guān)鍵短語(yǔ)提取、主題提取、聚類(lèi)以及端到端對(duì)話(huà)理解等。"Qualtrics 核心機(jī)器學(xué)習(xí)負(fù)責(zé)人 Aaron Colak 表示，"隨著我們?cè)诟鄳?yīng)用程序中使用這些復(fù)雜的模型以及非結(jié)構(gòu)化數(shù)據(jù)量不斷增長(zhǎng)，為給客戶(hù)提供最佳體驗(yàn)，我們需要像Inf2 實(shí)例這樣性能更高的推理優(yōu)化解決方案，來(lái)滿(mǎn)足我們的需求。我們很高興看到新一代 Inf2 實(shí)例的推出，它不僅讓我們實(shí)現(xiàn)更高的吞吐量，顯著降低延遲，而且還引入了分布式推理和支持增強(qiáng)的動(dòng)態(tài)形狀輸入等功能。隨著我們部署更大、更復(fù)雜的模型，這將能進(jìn)一步滿(mǎn)足我們對(duì)部署的更高要求。"