專(zhuān)為現(xiàn)代AI計(jì)算打造？IBM AIU芯片解析：5nm制程，32核心，230億個(gè)晶體管！

發(fā)布人：芯智訊時(shí)間：2022-11-16 來(lái)源：工程師

加入技術(shù)交流群
- 掃碼加入
  和技術(shù)大咖面對(duì)面交流
  海量資料庫(kù)查詢

今年10月，IBM發(fā)布了旗下首款人工智能計(jì)算單元（Artificial Intelligent Unit，AIU）片上系統(tǒng)，這是一種專(zhuān)用集成電路 (ASIC)，旨在更快、更高效地訓(xùn)練和運(yùn)行需要大規(guī)模并行計(jì)算的深度學(xué)習(xí)模型。

AIU：專(zhuān)為現(xiàn)代AI計(jì)算打造

在過(guò)去多年來(lái)，業(yè)界主要是利用CPU、GPU來(lái)運(yùn)行深度學(xué)習(xí)模型，但是隨著人工智能模型的數(shù)量正呈指數(shù)級(jí)增長(zhǎng)，同時(shí)深度學(xué)習(xí)模型也越來(lái)越龐大，有數(shù)十億甚至數(shù)萬(wàn)億的參數(shù)，需要的算力也是越來(lái)越高，而CPU、GPU這類(lèi)傳統(tǒng)架構(gòu)的芯片的AI算力增長(zhǎng)已經(jīng)遇到了瓶頸。

△深度神經(jīng)網(wǎng)絡(luò)對(duì)于算力的需求增長(zhǎng)迅速

根據(jù) IBM 的說(shuō)法，深度學(xué)習(xí)模型傳統(tǒng)上依賴于 CPU 和 GPU 協(xié)處理器的組合來(lái)訓(xùn)練和運(yùn)行模型。CPU 的靈活性和高精度非常適合通用軟件應(yīng)用程序，但是，在訓(xùn)練和運(yùn)行需要大規(guī)模并行 AI 操作的深度學(xué)習(xí)模型時(shí)，CPU卻處于劣勢(shì)。GPU最初是為渲染圖形圖像而開(kāi)發(fā)的，但后來(lái)該技術(shù)發(fā)現(xiàn)了在AI計(jì)算中使用的優(yōu)勢(shì)。但是，CPU和GPU都是在深度學(xué)習(xí)革命之前設(shè)計(jì)的，現(xiàn)在他們的效率增長(zhǎng)已經(jīng)落后于深度學(xué)習(xí)對(duì)于算力的指數(shù)級(jí)增長(zhǎng)，業(yè)界真正需要的是針對(duì)矩陣和向量乘法運(yùn)算類(lèi)型進(jìn)行優(yōu)化的通用芯片來(lái)進(jìn)行深度學(xué)習(xí)。

基于此，IBM Research AI Hardware Center在過(guò)去五年中一直專(zhuān)注于開(kāi)發(fā)下一代芯片和人工智能系統(tǒng)，希望以每年將人工智能硬件效率提高 2.5 倍，并能夠在 2029 年以比 2019 年快1000倍的速度訓(xùn)練和運(yùn)行人工智能模型。而最新AIU芯片則是IBM推出的首款針對(duì)現(xiàn)代 AI 統(tǒng)計(jì)數(shù)據(jù)定制的芯片。

IBM表示，AIU是專(zhuān)為加速深度學(xué)習(xí)模型使用的矩陣和向量計(jì)算而設(shè)計(jì)和優(yōu)化。AIU 可以解決計(jì)算復(fù)雜的問(wèn)題，并以遠(yuǎn)遠(yuǎn)超過(guò) CPU 能力的速度執(zhí)行數(shù)據(jù)分析。

那么IBM AIU是如何實(shí)現(xiàn)針對(duì)深度學(xué)習(xí)優(yōu)化的呢？答案是：“近似計(jì)算”＋“簡(jiǎn)化人工智能工作流程”。

擁抱低精度，采用近似計(jì)算

從歷史上看，很多AI計(jì)算依賴于高精度 64 位和 32 位浮點(diǎn)運(yùn)算。IBM 認(rèn)為AI計(jì)算并不總是需要這種精確度。它有一個(gè)降低傳統(tǒng)計(jì)算精度的術(shù)語(yǔ)——“近似計(jì)算”。在其博客中，IBM 解釋了使用近似計(jì)算的基本原理：

“對(duì)于常見(jiàn)的深度學(xué)習(xí)任務(wù)，我們是否需要這種準(zhǔn)確度？我們的大腦是否需要高分辨率圖像來(lái)識(shí)別家庭成員或貓？當(dāng)我們輸入一個(gè)文本線程進(jìn)行搜索時(shí)，我們是否需要第 50,002 個(gè)最有用的回復(fù)與第 50,003 個(gè)最有用的回復(fù)的相對(duì)排名的精度？答案是，包括這些示例在內(nèi)的許多任務(wù)都可以通過(guò)近似計(jì)算來(lái)完成?！?/p>

基于此，IBM 首創(chuàng)了的一種稱(chēng)為近似計(jì)算的技術(shù)，可以從32位浮點(diǎn)運(yùn)算下降到包含四分之一信息的混合8位浮點(diǎn)(HFP8) 計(jì)算格式。這種簡(jiǎn)化的格式極大地減少了訓(xùn)練和運(yùn)行 AI 模型所需的數(shù)字運(yùn)算量，并且不會(huì)犧牲準(zhǔn)確性。

更精簡(jiǎn)的位格式還減少了另一個(gè)對(duì)速度的拖累：只需將更少的數(shù)據(jù)移入和移出內(nèi)存，即運(yùn)行AI模型對(duì)于內(nèi)存的占用更少了。

IBM在其新的AIU芯片的設(shè)計(jì)當(dāng)中融入了近似計(jì)算技術(shù)，使得AIU芯片的精度需求大幅低于 CPU 所需的精度。較低的精度對(duì)于在新的 AIU 硬件加速器中實(shí)現(xiàn)高計(jì)算密度至關(guān)重要。AIU使用混合 8 位浮點(diǎn) (HFP8) 計(jì)算，而不是通常用于 AI 訓(xùn)練的32位浮點(diǎn)或16位浮點(diǎn)運(yùn)算。較低精度的計(jì)算使芯片的運(yùn)行速度比 FP16 計(jì)算快 2 倍，同時(shí)提供類(lèi)似的訓(xùn)練結(jié)果。

雖然低精度計(jì)算對(duì)于獲得更高的密度和更快的計(jì)算是必要的，但深度學(xué)習(xí) (DL) 模型的精度必須與高精度計(jì)算保持一致。

簡(jiǎn)化人工智能工作流程

由于大多數(shù) AI 計(jì)算都涉及矩陣和向量乘法，因此IBM AIU芯片架構(gòu)具有比多用途 CPU 更簡(jiǎn)單的布局。IBM AIU還針對(duì)將數(shù)據(jù)直接從一個(gè)計(jì)算引擎發(fā)送到另一個(gè)計(jì)算引擎進(jìn)行設(shè)計(jì)，從而節(jié)省大量能耗。

據(jù)IBM介紹，其AIU芯片是一個(gè)完整的片上系統(tǒng)，是基于IBM此前的Telum芯片（7nm工藝）中內(nèi)置的經(jīng)過(guò)驗(yàn)證的 AI 加速器的擴(kuò)展版本，并且采用了更先進(jìn)的5nm制程工藝，具有 32 個(gè)處理內(nèi)核并包含 230 億個(gè)晶體管。IBM AIU 還被設(shè)計(jì)為像顯卡一樣易于使用。它可以插入任何帶有 PCIe 插槽的計(jì)算機(jī)或服務(wù)器。

IBM表示，“部署 AI 對(duì)照片中的貓和狗進(jìn)行分類(lèi)是一項(xiàng)有趣的學(xué)術(shù)活動(dòng)。但它不會(huì)解決我們今天面臨的緊迫問(wèn)題。我們要讓 AI 解決現(xiàn)實(shí)世界的復(fù)雜性——比如預(yù)測(cè)下一個(gè)颶風(fēng)伊恩，或者我們是否正在走向衰退——我們需要企業(yè)級(jí)的工業(yè)級(jí)硬件。我們的 AIU 讓這一愿景更近了一步。”

IBM AIU表現(xiàn)如何？

IBM并未在其官網(wǎng)公布更多關(guān)其AIU芯片的技術(shù)信息。不過(guò)，我們可以通過(guò)回顧 IBM在 2021 年國(guó)際固態(tài)電路會(huì)議（ISSCC）上展示其早期 7nm 芯片設(shè)計(jì)的性能結(jié)果時(shí)的初始原型演示來(lái)對(duì)其性能有所了解。

IBM 用于會(huì)議演示的原型不是 32 個(gè)內(nèi)核，而是一個(gè)實(shí)驗(yàn)性的 4 核 7nm AI 芯片，支持 FP16 和混合FP8 格式，用于訓(xùn)練和推理深度學(xué)習(xí)模型。它還支持用于擴(kuò)展推理的 int4 和 int2 格式。2021 年 Lindley Group通訊中包含了原型芯片性能的摘要，該通訊報(bào)道了 IBM 當(dāng)年的演示：