亞馬遜年終王炸！兩大自研AI芯片性能飆升，推AI助手硬杠微軟，聯(lián)手老黃造最強(qiáng)超算

AWS最強(qiáng)自研訓(xùn)練芯片炸場(chǎng)，還有新一代服務(wù)器CPU。

作者 |  芯東西編輯部
芯東西11月28日美國(guó)拉斯維加斯報(bào)道，北京時(shí)間11月29日凌晨，全球第一大公有云巨頭AWS（亞馬遜云科技）扔出了其生成式AI年終“王炸”。搖滾樂(lè)開(kāi)場(chǎng)，AWS的CEO亞當(dāng)·塞利普斯基（Adam Selipsky）在一陣掌聲中登上re:Invent舞臺(tái)。

距離微軟和OpenAI聯(lián)盟的GPT-4新品“轟炸”過(guò)去還不到一個(gè)月，AWS緊接著放出了新的大招，從芯片、大模型平臺(tái)、AI應(yīng)用、生態(tài)合作等多個(gè)方面秀出“肌肉”：1、推出第四代自研服務(wù)器CPU芯片AWS Graviton4，相比三代處理速度快30%，能將處理大型Java應(yīng)用的速度提升45%。2、推出為生成式AI和機(jī)器學(xué)習(xí)訓(xùn)練設(shè)計(jì)的云端AI芯片AWS Trainium2，性能比上一代芯片提高到4倍，可提供65ExaFlops超算性能。3、英偉達(dá)創(chuàng)始人兼CEO黃仁勛到場(chǎng)，宣布英偉達(dá)與AWS達(dá)成戰(zhàn)略合作，針對(duì)生成式AI推出全新超級(jí)計(jì)算基礎(chǔ)設(shè)施、軟件及服務(wù)。4、推出生成式AI助手Amazon Q，支持聊天、生成內(nèi)容、編程、插件及定制開(kāi)發(fā)，硬杠微軟Copilot。

▲現(xiàn)場(chǎng)展區(qū)展出了Amazon Q免費(fèi)體驗(yàn)的申請(qǐng)二維碼入口

5、數(shù)據(jù)分析平臺(tái)Amazon QuickSight、呼叫中心服務(wù)Amazon Connect等應(yīng)用接入Amazon Q，具備生成式AI能力。6、Amazon Bedrock大模型平臺(tái)三大升級(jí)：支持微調(diào)、知識(shí)庫(kù)RAG（檢索增強(qiáng)生成）和持續(xù)預(yù)訓(xùn)練，全面推出Amazon Bedrock Agent、安全產(chǎn)品Guardrails for Amazon Bedrock預(yù)覽版。7、S3對(duì)象存儲(chǔ)服務(wù)更新，推出新的高性能、低延遲層S3存儲(chǔ)類(lèi)別Amazon S3 Express One Zone，比Amazon S3標(biāo)準(zhǔn)版快10倍，計(jì)算成本降低60%。8、推出4項(xiàng)Zero-ETL（提取、轉(zhuǎn)換、加載）集成功能，使跨數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)訪問(wèn)和分析更快、更容易。9、推出由生成式AI驅(qū)動(dòng)的Amazon DataZone智能推薦功能，可生成數(shù)據(jù)資產(chǎn)及其模式的詳細(xì)說(shuō)明。10、擴(kuò)大與OpenAI競(jìng)爭(zhēng)對(duì)手Anthropic的合作，Claude大模型的早期訪問(wèn)、自動(dòng)定制和微調(diào)功能優(yōu)先提供給AWS客戶(hù)。11、全球最大藥企輝瑞擴(kuò)大與AWS的合作關(guān)系，輝瑞利用生成式AI每年減少了7.5億至10億美元的成本。今年4月，AWS推出了覆蓋IaaS（基礎(chǔ)設(shè)施即服務(wù)）、PaaS（平臺(tái)即服務(wù)）、SaaS（軟件即服務(wù)）的生成式AI“全家桶”，空降全球AI大模型競(jìng)賽戰(zhàn)場(chǎng)。（《亞馬遜AIGC全家桶推出！迎戰(zhàn)微軟谷歌，云巨頭們殺瘋了》）彼時(shí)，微軟正憑借接入GPT-4的升級(jí)產(chǎn)品族風(fēng)頭正盛。AWS則扔出大模型開(kāi)發(fā)平臺(tái)Amazon Bedrock、計(jì)算實(shí)例EC2 Trn1n實(shí)例和EC2 Inf2及AI編程伴侶CodeWhisperer等產(chǎn)品，亮出亞馬遜殺入生成式AI的第一槍。今天，AWS全面披露了亞馬遜生成式AI技術(shù)堆棧：底層基礎(chǔ)架構(gòu)層+中間基礎(chǔ)模型構(gòu)建工具層+上層基礎(chǔ)模型AI應(yīng)用層，版圖逐漸完整。

01.新一代服務(wù)器CPU、AI訓(xùn)練芯片來(lái)了！
支持?jǐn)?shù)萬(wàn)億參數(shù)大模型訓(xùn)練

會(huì)上，AWS CEO塞利普斯基宣布推出第四代自研服務(wù)器CPU芯片AWS Graviton4、為生成式AI和機(jī)器學(xué)習(xí)訓(xùn)練設(shè)計(jì)的云端AI芯片AWS Trainium2。此前已有超過(guò)5萬(wàn)個(gè)客戶(hù)使用Graviton。最新推出的Graviton4是AWS迄今最高能效的自研數(shù)據(jù)中心處理器，基于Arm架構(gòu)，相比Graviton3，處理速度快30%，內(nèi)核增加50%，內(nèi)存帶寬增加了75%，能將數(shù)據(jù)庫(kù)應(yīng)用提速40%，將處理大型Java應(yīng)用的速度提升45%。AWS客戶(hù)現(xiàn)可開(kāi)始測(cè)試該處理器，由Graviton4支持的R8g實(shí)例已推出預(yù)覽版。

Trainium2芯片為擁有數(shù)千億甚至數(shù)萬(wàn)億個(gè)參數(shù)的基礎(chǔ)模型訓(xùn)練做了優(yōu)化，性能比上一代芯片提高到4倍，內(nèi)存容量提高到3倍，能效提高到2倍。OpenAI的競(jìng)爭(zhēng)對(duì)手、明星生成式AI獨(dú)角獸Anthropic計(jì)劃用Trainium2芯片構(gòu)建模型。

Trainium2將在Amazon EC2 Trn2實(shí)例中提供，單個(gè)實(shí)例中包含16個(gè)Trainium芯片，Trn2實(shí)例可幫助在下一代EC2 UltraCluster中擴(kuò)展到多達(dá)10萬(wàn)個(gè)Trainium2芯片，通過(guò)搭配AWS Elastic Fabric Adapter (EFA) 網(wǎng)絡(luò)互連，提供65ExaFlops超算級(jí)性能。基于此，客戶(hù)只用幾周就能訓(xùn)練出有3000億個(gè)參數(shù)的大模型。AWS Neuron SDK被用于優(yōu)化跑在AWS自研訓(xùn)練芯片Trainium和推理芯片Inferentia的機(jī)器學(xué)習(xí)任務(wù)，支持主流AI框架。

AWS與英偉達(dá)宣布擴(kuò)大戰(zhàn)略合作。英偉達(dá)創(chuàng)始人兼CEO黃仁勛來(lái)到re:Invent大會(huì)現(xiàn)場(chǎng)，宣布AWS將支持英偉達(dá)最新推出的H200 GPU，并將托管一個(gè)特殊的計(jì)算集群供英偉達(dá)使用。

AWS是在云端配備英偉達(dá)GH200 Grace Hopper超級(jí)芯片的首家云大廠，雙方聯(lián)手推出首款結(jié)合Grace Hopper超級(jí)芯片與亞馬遜UltraCluster擴(kuò)展功能的云AI超級(jí)計(jì)算機(jī)，以及首次在AWS上提供首個(gè)配置GH200 NVL32的英偉達(dá)DGX Cloud AI訓(xùn)練即服務(wù)（能加速訓(xùn)練參數(shù)量超1萬(wàn)億的生成式AI與大模型）。英偉達(dá)與AWS合作構(gòu)建的AI超級(jí)計(jì)算機(jī)Project Ceiba便部署在亞馬遜云科技上，配備GH200 NVL32與Amazon EFA互連技術(shù)，包括16384顆GH200超級(jí)芯片，能提供65ExaFlops AI算力。此外，AWS宣布其S3對(duì)象存儲(chǔ)服務(wù)推出重大更新：一種新的高性能、低延遲層S3存儲(chǔ)類(lèi)別Amazon S3 Express One Zone，旨在為延遲敏感的應(yīng)用提供個(gè)位數(shù)、毫秒級(jí)的每秒數(shù)十萬(wàn)次數(shù)據(jù)訪問(wèn)。

Amazon S3 Express One Zone的數(shù)據(jù)訪問(wèn)速度比Amazon S3標(biāo)準(zhǔn)版快10倍，請(qǐng)求成本降低50%，計(jì)算成本降低60%。以上從計(jì)算到存儲(chǔ)新品的發(fā)布，主要是AWS的底層基礎(chǔ)架構(gòu)層的能力更新，在其生成式AI技術(shù)堆棧中的位置如下圖所示。

02.Amazon Bedrock全家桶升級(jí)，
聯(lián)手OpenAI最強(qiáng)競(jìng)對(duì)反擊微軟

今日，AWS對(duì)Amazon Bedrock生成式AI平臺(tái)完成了能力新升級(jí)。Amazon Bedrock平臺(tái)是亞馬遜4月推出、9月全面開(kāi)放的大模型開(kāi)發(fā)平臺(tái)，支持用戶(hù)調(diào)用來(lái)自亞馬遜自己的泰坦（Titan）模型，以及AI21 Labs、Anthropic、Stability AI等第三方的多樣化模型進(jìn)行調(diào)用和定制化開(kāi)發(fā)。

1、Amazon Bedrock推出三個(gè)客制化功能塞利普斯基宣布，托管服務(wù)Amazon Bedrock今天推出三個(gè)客制化自定義功能：微調(diào)（Fine-tuning）、知識(shí)庫(kù)的RAG（檢索增強(qiáng)生成）、持續(xù)預(yù)訓(xùn)練。

通過(guò)微調(diào)，用戶(hù)可以提供私有的特定任務(wù)標(biāo)注訓(xùn)練數(shù)據(jù)集來(lái)提高模型的準(zhǔn)確性，進(jìn)一步使基礎(chǔ)模型（FM）專(zhuān)業(yè)化。Amazon Bedrock現(xiàn)在支持對(duì)Meta Llama 2、Cohere Command Light和Amazon Titan模型進(jìn)行微調(diào)。

Amazon Bedrock知識(shí)庫(kù)于今年9月推出預(yù)覽版，今日起全面開(kāi)放。通過(guò)知識(shí)庫(kù)，用戶(hù)可以安全地將Amazon Bedrock中的基礎(chǔ)模型與公司的數(shù)據(jù)連接起來(lái)，并進(jìn)行檢索增強(qiáng)生成，訪問(wèn)附加數(shù)據(jù)以生成更相關(guān)、更具體和更準(zhǔn)確的響應(yīng)，而無(wú)需不斷重新訓(xùn)練基礎(chǔ)模型。此外，從知識(shí)庫(kù)中檢索到的所有信息都會(huì)注明來(lái)源，以提高透明度并減少幻覺(jué)。

持續(xù)預(yù)訓(xùn)練可用于Amazon Titan Text模型的公開(kāi)預(yù)覽版，包括Titan Text Express和Titan Text Lite。預(yù)訓(xùn)練完成后，用戶(hù)可以收到唯一的模型ID，定制模型將由Amazon Bedrock再次存儲(chǔ)。

2、全面推出Agents for Amazon BedrockAWS曾在今年7月推出Agents for Amazon Bedrock預(yù)覽版，今天，塞利普斯基宣布其全面上市。

借助Agents for Amazon Bedrock，用戶(hù)可以通過(guò)簡(jiǎn)單的幾個(gè)步驟創(chuàng)建和部署完全托管式的Agent，通過(guò)動(dòng)態(tài)調(diào)用API來(lái)執(zhí)行復(fù)雜的業(yè)務(wù)任務(wù)。Amazon Bedrock可以根據(jù)用戶(hù)提供的自然語(yǔ)言指令，如“你是專(zhuān)門(mén)處理未結(jié)理賠的保險(xiǎn)代理人”，完成任務(wù)所需的API架構(gòu)，并使用來(lái)自知識(shí)庫(kù)的私有數(shù)據(jù)來(lái)源詳細(xì)信息創(chuàng)建提示語(yǔ)。

Agents for Amazon Bedrock可將用戶(hù)請(qǐng)求的任務(wù)分解為較小的子任務(wù)，從而做出周密安排。例如，對(duì)于“向所有具有待處理文件的保單持有人發(fā)送提醒”，它會(huì)將任務(wù)分解成：獲取特定時(shí)間段的理賠，確定所需的文書(shū)工作，發(fā)送提醒。Agent會(huì)確定正確的任務(wù)順序，并處理中途出現(xiàn)的任何錯(cuò)誤狀況。

3、推出Guardrails for Amazon Bedrock預(yù)覽版AWS推出Guardrails for Amazon Bedrock預(yù)覽版，根據(jù)應(yīng)用程序需求和AI政策定制保障措施。Guardrails可以跨基礎(chǔ)模型，為所有應(yīng)用程序提供一致的AI安全級(jí)別，阻止生成式AI應(yīng)用程序中不需要的話(huà)題，根據(jù)AI政策過(guò)濾有害內(nèi)容等。

據(jù)稱(chēng)，Amazon Bedrock平臺(tái)目前在全球各行業(yè)中已有超10000個(gè)客戶(hù)，包括阿迪達(dá)斯、納斯達(dá)克、雷克薩斯等眾多知名企業(yè)。

今日，AWS宣布擴(kuò)大與OpenAI強(qiáng)力競(jìng)對(duì)Anthropic的合作。Bedrock客戶(hù)將擁有其他云所沒(méi)有的Anthropic旗下Claude大模型的早期訪問(wèn)、自動(dòng)定制和微調(diào)功能的特供功能。Anthropic由前OpenAI工程師于2021年創(chuàng)立，于近期推出了其聊天機(jī)器人Claude的2.1版本，支持20萬(wàn)Tokens的超長(zhǎng)上下文。Anthropic的CEO兼聯(lián)合創(chuàng)始人達(dá)里奧·阿莫迪（Dario Amodei）親臨了現(xiàn)場(chǎng)，他談道，Anthropic和AWS之間合作由三個(gè)部分組成：計(jì)算、客戶(hù)支持和硬件優(yōu)化。他們的目標(biāo)是為客戶(hù)提供定制模型、專(zhuān)有數(shù)據(jù)和獨(dú)特的微調(diào)功能，目前已基于AWS的服務(wù)在生物醫(yī)學(xué)、法律和金融行業(yè)有成功落地案例。與Anthropic擴(kuò)大合作無(wú)疑是AWS反擊微軟OpenAI聯(lián)盟的一記重拳。9月25日，亞馬遜與Anthropic宣布達(dá)成戰(zhàn)略合作，亞馬遜稱(chēng)將向Anthropic投資至多40億美元，并擁有該公司的少數(shù)股權(quán)。

全球最大藥企輝瑞的首席數(shù)字與技術(shù)官莉迪亞·豐塞卡（Lidia Fonseca）也來(lái)到現(xiàn)場(chǎng)，并宣布擴(kuò)大與AWS的合作關(guān)系。豐塞卡稱(chēng)，輝瑞于2019年開(kāi)始，通過(guò)整合來(lái)自多個(gè)實(shí)驗(yàn)室和儀器的數(shù)據(jù)來(lái)組織其數(shù)字基礎(chǔ)設(shè)施，其與AWS的合作始于新冠疫情時(shí)期，“如果沒(méi)有與AWS的密切關(guān)系，我們不可能實(shí)現(xiàn)如此巨大的影響力”。她談道，公司在42周內(nèi)遷移了12000個(gè)應(yīng)用程序和8000臺(tái)服務(wù)器，退出三個(gè)數(shù)據(jù)中心轉(zhuǎn)而上云，并減少了4700噸二氧化碳排放——相當(dāng)于1000個(gè)家庭一年的能源使用量，這為輝瑞每年節(jié)省了4700萬(wàn)美元。

這使得輝瑞在生產(chǎn)中的云計(jì)算使用率從10%提升到80%，輝瑞還計(jì)劃在其癌癥生產(chǎn)線(xiàn)上繼續(xù)依賴(lài)云計(jì)算。此外，使用云服務(wù)后，輝瑞的生產(chǎn)效率也得到提升。豐塞卡稱(chēng)，其疫苗產(chǎn)量提高了20%，即每批次多生產(chǎn)約20000支疫苗，公司的疫苗年度產(chǎn)量從以往的2.2億支增加到2022年的40億支。豐塞卡還提到，利用生成式AI，輝瑞每年減少了7.5億至10億美元的成本。

03.硬剛微軟Copilot！AI助手Amazon Q亮相，三步完成定制

今日，AWS推出了一款新型生成式AI助手Amazon Q。它支持用戶(hù)輸入問(wèn)題，從而進(jìn)行聊天、生成內(nèi)容及插件聯(lián)動(dòng)。

AWS的客戶(hù)可以選用Amazon Q服務(wù)，通過(guò)提問(wèn)的方式快速解答疑惑，有望節(jié)省大量的架構(gòu)和故障排除時(shí)間，并優(yōu)化工作負(fù)載。

對(duì)于開(kāi)發(fā)者來(lái)說(shuō)，Amazon Q嵌入了AI編程助手CodeWhisperer，將利用其對(duì)AWS的深入了解和對(duì)代碼庫(kù)的理解，幫助開(kāi)發(fā)者提高開(kāi)發(fā)效率。用戶(hù)只需編寫(xiě)一個(gè)提示符，Amazon Q將會(huì)給出一個(gè)初版草案，然后用戶(hù)可以用自然語(yǔ)言對(duì)話(huà)進(jìn)行協(xié)作迭代。

這一功能目前在Amazon Code Catalyst可用，且不久后將向全部客戶(hù)開(kāi)放。AWS稱(chēng)用戶(hù)目前還無(wú)法從其他云廠商那獲取這一能力。Amazon Q的使用步驟非常簡(jiǎn)單，大致分為三步：第一步，用戶(hù)可以通過(guò)連接結(jié)合自己的組織自定義Amazon Q，它目前支持Salesforce、微軟、谷歌、Slack等40多家公司的商業(yè)應(yīng)用程序開(kāi)箱即用。

第二步，一旦連接，Amazon Q就會(huì)開(kāi)始索引用戶(hù)的所有數(shù)據(jù)和內(nèi)容，學(xué)習(xí)有關(guān)業(yè)務(wù)的所有知識(shí)。

第三步，用戶(hù)幾乎不需要什么操作，只需在瀏覽器中打開(kāi)完全定制的Amazon Q。這一智能助手知道用戶(hù)身份角色，能針對(duì)詳細(xì)問(wèn)題給出量身定制的答案，并給出引用參考來(lái)源。

Amazon Q注重隱私和安全，其宣稱(chēng)不會(huì)在外部共享用戶(hù)數(shù)據(jù)，也不會(huì)使用它來(lái)改進(jìn)基礎(chǔ)模型。此外，Amazon Q還通過(guò)一組可配置的插件支持用戶(hù)采取行動(dòng)。

目前，亞馬遜旗下的數(shù)據(jù)分析平臺(tái)Amazon QuickSight已內(nèi)置了Amazon Q。業(yè)務(wù)分析師稱(chēng)，通過(guò)簡(jiǎn)單地告知Amazon Q他們想要可視化內(nèi)容，就可以創(chuàng)建儀表板和報(bào)告，耗時(shí)從幾小時(shí)縮短到了幾分鐘。QuickSight中的Amazon Q功能自今天起提供預(yù)覽版。亞馬遜的呼叫中心服務(wù)Amazon Connect也接入了Amazon Q。在傳統(tǒng)的聯(lián)絡(luò)中心，用戶(hù)往往會(huì)花費(fèi)大量時(shí)間收集客戶(hù)信息以了解他們的問(wèn)題，然后花更多的時(shí)間尋找正確答案。但現(xiàn)在，Amazon Connect已通過(guò)機(jī)器學(xué)習(xí)、轉(zhuǎn)錄和分析使這變得更加容易，支持Agent在Amazon Connect中與Amazon Q聊天，幫助他們快速響應(yīng)客戶(hù)問(wèn)題。

亞馬遜稱(chēng)，這些應(yīng)用是Amazon Q落地的一個(gè)開(kāi)始，亞馬遜生成式AI的技術(shù)堆棧全景圖如下所示。

04.數(shù)據(jù)庫(kù)推出4項(xiàng)Zero-ETL集成，
生成式AI自動(dòng)化組織數(shù)據(jù)

要實(shí)現(xiàn)以上所有的功能，背后的數(shù)據(jù)尤為關(guān)鍵。為此，AWS宣布推出4項(xiàng)Zero-ETL（提取、轉(zhuǎn)換、加載）集成功能：Amazon Aurora PostgreSQL、Amazon DynamoDB、Amazon RDS for MySQL與Amazon Redshift數(shù)據(jù)庫(kù)的集成，以及Amazon DynamoDB與Amazon OpenSearch服務(wù)的Zero-ETL集成。新的Amazon Aurora PostgreSQL、Amazon DynamoDB、Amazon RDS for MySQL功能與Amazon Redshift數(shù)據(jù)庫(kù)的集成使用戶(hù)可以更輕松地連接和分析來(lái)自Amazon Redshift中多個(gè)關(guān)系型或非關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)，以進(jìn)行綜合分析。

Amazon DynamoDB與Amazon OpenSearch服務(wù)的Zero-ETL集成可實(shí)現(xiàn)幾乎實(shí)時(shí)的全文和矢量搜索，從而獲得跨多個(gè)應(yīng)用的整體洞察力，在提高運(yùn)營(yíng)效率的同時(shí)降低成本。

AWS還宣布推出由生成式AI驅(qū)動(dòng)的Amazon DataZone智能推薦功能，旨在大幅減少為組織數(shù)據(jù)提供上下文所需的時(shí)間。

該功能由Amazon Bedrock的模型提供支持，可生成數(shù)據(jù)資產(chǎn)及其模式的詳細(xì)說(shuō)明，并提出分析用例。只需單擊一下，即可生成全面的業(yè)務(wù)上下文。

05.結(jié)語(yǔ)：對(duì)戰(zhàn)微軟OpenAI聯(lián)盟，
亞馬遜如何后發(fā)制人？

微軟和OpenAI聯(lián)盟風(fēng)頭正盛，全球第一大云巨頭也在年底面向AI再出一記重拳。雖然亞馬遜對(duì)這波生成式反應(yīng)相對(duì)慢一些，但其在IaaS、PaaS、MaaS、SaaS的布局卻一點(diǎn)不少，尤其在底層硬件、生態(tài)聚合方面表現(xiàn)突出。當(dāng)下，美國(guó)三大公有云服務(wù)巨頭AWS、微軟Azure、谷歌云都已將生成式AI置于重要戰(zhàn)略位置，試圖為增長(zhǎng)疲軟的云業(yè)務(wù)找到新的成長(zhǎng)曲線(xiàn)。AWS的打法有所區(qū)別，不是對(duì)AI公司及消費(fèi)級(jí)產(chǎn)品的重大投資，而是建立平臺(tái)匯聚眾多中小企業(yè)的模型，側(cè)重為大模型及終端客戶(hù)提供底層云基座，有望通過(guò)其海量客戶(hù)及底座規(guī)模實(shí)現(xiàn)后發(fā)制人。