谷歌發(fā)布第五代TPU：訓(xùn)練性能提高2倍，推理性能提升2.5倍！

8月30日消息，谷歌在29日舉行的 Cloud Next 2023 大會(huì)上，公開(kāi)了Google Cloud新款自研AI芯片TPU v5e，并推出了搭配英偉達(dá)（NVIDIA）H100 GPU “A3超級(jí)計(jì)算機(jī)”GA（通用版） ，A3 VM實(shí)例將于下個(gè)月上線。谷歌還宣布與AI芯片龍頭英偉達(dá)擴(kuò)大合作伙伴關(guān)系。

第五代TPU：訓(xùn)練性能提高2倍，推理性能提升2.5倍，成本降低50%！

TPU是谷歌專門(mén)為機(jī)器學(xué)習(xí)（ML）/深度學(xué)習(xí)（DL）設(shè)計(jì)的專用AI加速芯片，比CPU、GPU等通用處理器對(duì)于AI計(jì)算效率更高。谷歌第一代 TPU（TPU v1）是 2016 年在 Google I/O 大會(huì)上發(fā)布的，隨后在2017 年作為 Google Cloud 基礎(chǔ)設(shè)施“Cloud TPU”推出，通常使用 FP32 和 FP16 等精度數(shù)據(jù)，如果降低 ML 的精度/DL計(jì)算到8位（INT8）等，則將使得在ML/DL中的處理能力得到進(jìn)一步提高。此外，通過(guò)僅合并專門(mén)用于 ML/DL 的算術(shù)單元，谷歌減少了 CPU 和 GPU 所需的高速緩存、分支預(yù)測(cè)和亂序執(zhí)行等復(fù)雜算術(shù)單元，可以以低功耗執(zhí)行專門(mén)針對(duì) ML/DL 的計(jì)算。

之后，谷歌TPU又經(jīng)過(guò)了數(shù)次迭代，比如第二代TPU v2于2017年發(fā)布，第三代TPU v3于2018年發(fā)布，第四代TPU v4于去年發(fā)布，目前已開(kāi)始服務(wù)和提供。

而最新的第五代TPU，即TPU v5e 則是谷歌專為提升大中型模型的訓(xùn)練、推理性能以及成本效益所設(shè)計(jì)，并且其內(nèi)部張量處理單元的最新版本。與與 2021 年發(fā)布的 TPU v4 相比，TPU v5e 的大型語(yǔ)言模型提供的訓(xùn)練性能提高了 2 倍、推理性能提高了2.5 倍。但是TPU v5e 的成本卻不到上一代的一半，使企業(yè)能夠以更低的成本，訓(xùn)練和部署更大、更復(fù)雜的 AI 模型。

需要指出的是，從第三代TPU v3開(kāi)始，谷歌就專注于增強(qiáng)可擴(kuò)展性，以便能夠更大規(guī)模地并行處理。最新的TPU v5e ，可以通過(guò)采用400 TB/s互連來(lái)配置多達(dá)256個(gè)芯片。使得進(jìn)行更大規(guī)模的學(xué)習(xí)和推理成為可能。谷歌表示，在 256 個(gè)芯片配置下，INT8 的算力將達(dá)到 100 PetaOps。

據(jù)介紹，TPU v5e將提供了多種不同的虛擬機(jī)配置，范圍從一個(gè) TPU 芯片到單個(gè)切片內(nèi) 256 個(gè) TPU 芯片。對(duì)于那些需要更多算力的用戶，谷歌也正在推出“Multislice”，這是一種將模型交給數(shù)萬(wàn)個(gè)TPU芯片計(jì)算的服務(wù)。

△上圖顯示了一個(gè)包含 1 個(gè) TPU (v5e) 切片（拓?fù)洌?x4）和 1 個(gè) TPU v5litepod-8(v5e) 切片（拓?fù)洌?x4）的GKE 集群

谷歌機(jī)器學(xué)習(xí)、系統(tǒng)和云AI 副總裁 Amin Vahdat 表示：“到目前為止，使用 TPU 的訓(xùn)練作業(yè)僅限于單個(gè) TPU 芯片切片，TPU v4 的最大作業(yè)切片大小為 3,072 個(gè)芯片。”

谷歌計(jì)算和機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施副總裁 Mark Lohmeyer在聯(lián)合博客文章中表示，“借助 Multislice，開(kāi)發(fā)人員可以在單個(gè) Pod 內(nèi)通過(guò)芯片間互連 (ICI) 或通過(guò)數(shù)據(jù)中心網(wǎng)絡(luò) (DCN) 跨多個(gè) Pod 將工作負(fù)載擴(kuò)展到數(shù)萬(wàn)個(gè)芯片。”

AssemblyAI 技術(shù)副總裁Domenic Donato表示：“在我們的生產(chǎn) ASR 模型上運(yùn)行推理時(shí)，TPU v5e 的性價(jià)比始終比市場(chǎng)上同類(lèi)解決方案高出 4 倍。Google Cloud 軟件堆棧非常適合生產(chǎn) AI 工作負(fù)載，我們能夠充分利用 TPU v5e 硬件，該硬件專為運(yùn)行高級(jí)深度學(xué)習(xí)模型而構(gòu)建。這種強(qiáng)大的硬件和軟件組合極大地提高了我們?yōu)榭蛻籼峁┙?jīng)濟(jì)高效的人工智能解決方案的能力?！?/p>

Gridspace 機(jī)器學(xué)習(xí)主管Wonkyum Lee表示：“我們的速度基準(zhǔn)測(cè)試表明，在 Google Cloud TPU v5e 上訓(xùn)練和運(yùn)行時(shí)，AI 模型的速度提高了 5 倍。我們還看到推理指標(biāo)的規(guī)模有了巨大改進(jìn)，我們現(xiàn)在可以在一秒內(nèi)實(shí)時(shí)處理 1000 秒的內(nèi)部語(yǔ)音到文本和情緒預(yù)測(cè)模型，性能提高了 6 倍?！?/p>

與英偉達(dá)合作推出A3 虛擬超級(jí)計(jì)算機(jī)

隨著生成式人工智能和大型語(yǔ)言模型 (LLM) 不斷推動(dòng)創(chuàng)新，訓(xùn)練和推理的計(jì)算需求以驚人的速度增長(zhǎng)。為了滿足這一需求，Google Cloud 今天宣布全面推出由 NVIDIA H100 Tensor Core GPU 提供支持的全新 A3 虛擬超級(jí)計(jì)算機(jī) (VM) 實(shí)例將于9月全面上市。

A3將會(huì)配備 8 個(gè)NVIDIA H100 GPU、兩個(gè)第四代 Intel Xeon 可擴(kuò)展處理器、 2TB 內(nèi)存以及定制的Intel 200G IPU（基礎(chǔ)設(shè)施處理單元）網(wǎng)絡(luò)組成。與使用傳統(tǒng)NVIDIA A100 GPU的A2相比，學(xué)習(xí)和推理過(guò)程中的性能提升了3倍，帶寬提升了10倍。這些實(shí)例最初于 5 月份宣布，可以增加到 26,000 個(gè) Nvidia H100 Hopper GPU。 鑒于NVIDIA GPU 持續(xù)短缺，目前尚不清楚谷歌將擁有多少個(gè)NVIDIA H100。

在 Google Cloud Next 大會(huì)上，NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛與 Google Cloud 首席執(zhí)行官 Thomas Kurian 一起發(fā)表了活動(dòng)主題演講，慶祝 NVIDIA H100 GPU 驅(qū)動(dòng)的 A3 實(shí)例全面上市，并談?wù)摿斯雀枞绾问褂?NVIDIA H100 和 A100 GPU 進(jìn)行內(nèi)部部署DeepMind 和其他部門(mén)的研究和推理。

在討論中，黃仁勛指出了更深層次的合作，使 NVIDIA GPU 能夠?yàn)?PaxML 框架加速，從而創(chuàng)建大規(guī)模的法學(xué)碩士。這個(gè)基于 Jax 的機(jī)器學(xué)習(xí)框架是專門(mén)為訓(xùn)練大型模型而構(gòu)建的，允許高級(jí)且完全可配置的實(shí)驗(yàn)和并行化。目前PaxML 已被 Google 用于構(gòu)建內(nèi)部模型，包括 DeepMind 以及研究項(xiàng)目，并將使用 NVIDIA GPU。兩家公司還宣布 PaxML 可立即在 NVIDIA NGC 容器注冊(cè)表中使用。

谷歌表示，生成式人工智能初創(chuàng)公司 Anthropic 是新 TPU v5e 和 A3 VM 的早期用戶。雖然谷歌向這家初創(chuàng)公司投資了 3 億美元，但它同時(shí)也是亞馬遜網(wǎng)絡(luò)服務(wù)的用戶。

Anthropic 聯(lián)合創(chuàng)始人 Tom Brown 表示：“我們很高興能與 Google Cloud 合作，我們一直在與 Google Cloud 合作高效地訓(xùn)練、部署和共享我們的模型。由 A3 和 TPU v5e 以及 Multislice 提供支持的谷歌下一代 AI 基礎(chǔ)設(shè)施將帶來(lái)性價(jià)比優(yōu)勢(shì)，將助力我們繼續(xù)構(gòu)建下一波人工智能浪潮所需的工作負(fù)載?！?br />

支持100款A(yù)I模型

為了支持企業(yè)云端服務(wù)，Google Cloud 還整合加入了 20 個(gè) AI 模型，使其支持的總數(shù)達(dá)到 100 個(gè)，通過(guò)其 AI 基礎(chǔ)設(shè)施，可讓客戶使用包括 Meta Llama 2 模型、Anthropic Claude 2 聊天機(jī)器人等，可以自由選擇最能滿足營(yíng)運(yùn)需求的 AI 模型。

Google Cloud 也對(duì)既有 AI 模型提高性能并添加功能，例如文字處理方面的 PaLM 模型可支援用戶輸入更多文字量，以便處理篇幅較長(zhǎng)的報(bào)導(dǎo)、書(shū)籍文章或者法院判決文件等。

同時(shí)，Google Cloud 這次也推出企業(yè)級(jí)新工具，包括“SynthID”可為 AI 產(chǎn)生的圖片加上****浮水印，以人眼看不見(jiàn)的方式更改數(shù)字圖片，即使 AI 圖片被編輯或篡改也能保有完整性。

Google Workspace 辦公套件將為用戶提供 Duet AI 新產(chǎn)品，預(yù)計(jì)今年稍晚向所有用戶開(kāi)放，可在 Google 文件、試算表、簡(jiǎn)報(bào)中運(yùn)用 AI 助手幫助更快完成工作。

編輯：芯智訊-浪客劍