超越HBM：三星將內(nèi)存處理技術(shù)分解為人工智能應(yīng)用

人工智能應(yīng)用帶來了許多挑戰(zhàn)，包括數(shù)據(jù)處理和內(nèi)存。三星希望通過結(jié)合內(nèi)存處理和高帶寬內(nèi)存來解決這些問題。

今年的熱芯片33會(huì)議帶來了很多有趣的技術(shù)專注于人工智能（AI）和高帶寬存儲(chǔ)器（哈佛商學(xué)院）。其中一家公司，尤其是三星展示了整合在它的兩個(gè)設(shè)備中，一個(gè)是HBM，另一個(gè)是內(nèi)存處理（PIM），它將在AI算法和應(yīng)用程序中處理大量數(shù)據(jù)。

內(nèi)存處理架構(gòu)超越了HBM，包括DRAM模塊和移動(dòng)內(nèi)存。圖片使用由三星

在這篇文章中，讓我們深入了解三星在Hot Chips 33上的表現(xiàn)，以及這對(duì)HBM世界的意義。

自1998年以來，熱芯片一直是一個(gè)世界著名的會(huì)議領(lǐng)導(dǎo)半導(dǎo)體行業(yè)，展示先進(jìn)的高性能微處理器和集成電路（IC）。

在今年的活動(dòng)中，三星展示了人工智能技術(shù)內(nèi)存生態(tài)系統(tǒng)的最新集成解決方案 HBM-PIM公司系統(tǒng)。這個(gè)組合使用錫林克斯阿爾維奧人工智能加速器系統(tǒng)，聲稱可以將整個(gè)系統(tǒng)性能提高2.5倍的標(biāo)準(zhǔn)速率，能耗降低70%。

錫林克斯的阿爾維奧人工智能加速器。圖片使用由錫林克斯

更快的速率和更少的能量消耗對(duì)人工智能應(yīng)用至關(guān)重要。人工智能算法和應(yīng)用程序面臨的一些問題來自于大量的數(shù)據(jù)，而當(dāng)前的存儲(chǔ)設(shè)備沒有足夠的容量和帶寬來滿足這些數(shù)據(jù)。

如果系統(tǒng)不能處理所有輸入的數(shù)據(jù)，內(nèi)存系統(tǒng)的計(jì)算性能就會(huì)受到影響。三星集成PIM的計(jì)劃應(yīng)該允許一些數(shù)據(jù)在內(nèi)存設(shè)備中本地保存和處理，從而減少流量。

數(shù)據(jù)處理在人工智能應(yīng)用中是必不可少的，需要一個(gè)重新設(shè)計(jì)的存儲(chǔ)設(shè)備。

如HBM-PIM，以實(shí)現(xiàn)AI加速器引擎支持的計(jì)算邏輯。

PIM的功能從集成計(jì)算和內(nèi)存開始，使內(nèi)存設(shè)備能夠在本地執(zhí)行任何操作。

使用PIM，三星可以消除對(duì)工業(yè)標(biāo)準(zhǔn)邏輯設(shè)備和內(nèi)存解決方案的需求，這些設(shè)備通常執(zhí)行CPU、GPU和NPU等計(jì)算。這種內(nèi)存解決方案不僅節(jié)省了系統(tǒng)的占用空間，而且還最大限度地減少了延遲，提高了處理速度，并提高了整體能效。

三星電子（Samsung Electronics）負(fù)責(zé)DRAM產(chǎn)品和技術(shù)的高級(jí)副總裁金南成（Nam Sung Kim）認(rèn)為，HBM的未來在于這項(xiàng)技術(shù)的標(biāo)準(zhǔn)化。一旦實(shí)現(xiàn)了這一點(diǎn)，應(yīng)用程序的數(shù)量就可以增加，并擴(kuò)展到下一代超級(jí)計(jì)算機(jī)和人工智能應(yīng)用程序的HBM3中，包括用于設(shè)備人工智能的移動(dòng)存儲(chǔ)器和用于數(shù)據(jù)中心的存儲(chǔ)模塊。

既然三星已經(jīng)制定了更多關(guān)于HBM和PIM的計(jì)劃，讓我們看看它的發(fā)布。

三星不僅介紹了HBM-PIM背后的理念和研究成果，還分享了新的設(shè)備，這些設(shè)備將結(jié)合基于人工智能的功能，以增強(qiáng)超級(jí)計(jì)算機(jī)和算法的高速數(shù)據(jù)處理能力。

Aquabolt XL是三星的預(yù)期產(chǎn)品之一，它的特點(diǎn)是在裝有保險(xiǎn)絲的HBM設(shè)備內(nèi)安裝了一個(gè)名為可編程計(jì)算單元（PCU）的AI引擎。

對(duì)于大型數(shù)據(jù)集，計(jì)算和內(nèi)存受限的人工智能應(yīng)用所需的容量和帶寬的增加就是為什么需要HBM-PIM，三星將該P(yáng)IM并入其中，以增強(qiáng)HBM的功能。

Aquabolt XL采用PCU，可在內(nèi)存系統(tǒng)的核心內(nèi)實(shí)現(xiàn)并行處理。通過添加HBM設(shè)備，整個(gè)體系結(jié)構(gòu)是健壯的，并且為高數(shù)據(jù)流量做好了準(zhǔn)備。

HBM的核心是PCU引擎，但總體架構(gòu)是什么？

HBM是通過堆疊構(gòu)建的德拉姆模具相互重疊，允許并行訪問每個(gè)DRAM模具。HBM高度的內(nèi)部并行性對(duì)整個(gè)過程至關(guān)重要。

與單純使用HBM相比，涉及語音識(shí)別的人工智能應(yīng)用程序的性能提高了2倍。在DRAM芯片內(nèi)部發(fā)生相同數(shù)量的計(jì)算的情況下，與移動(dòng)數(shù)據(jù)相關(guān)聯(lián)的IO流量被消除，從而導(dǎo)致功耗降低。

AXDIMM是一種CPU內(nèi)存數(shù)據(jù)移動(dòng)，可以避免系統(tǒng)中出現(xiàn)瓶頸，使用PIM將有助于此平臺(tái)。

三星發(fā)布的第二款產(chǎn)品是它的加速DIMM（AXDIMM），支持對(duì)DRAM模塊的處理，最大限度地減少CPU和DRAM之間的大數(shù)據(jù)移動(dòng)。

這種數(shù)據(jù)移動(dòng)的最小化可以提高所有人工智能加速器系統(tǒng)的能源效率。本質(zhì)上，這個(gè)芯片作為一個(gè)緩沖區(qū)，里面有一個(gè)人工智能引擎。AXDIMM可以執(zhí)行多個(gè)內(nèi)存列組（DRAM芯片集）的并行處理，而不是一次訪問一個(gè)列組?？偟膩碚f，這個(gè)模塊聽起來很有前途，因?yàn)樗梢员Ａ魝鹘y(tǒng)的DIMM形式，而AXDIMM則成為一個(gè)不需要修改系統(tǒng)的直接替代品。

為了保持雙倍統(tǒng)計(jì)的主題，三星的AXDIMM在基于人工智能的應(yīng)用程序中提供了兩倍的性能，整體系統(tǒng)的能耗降低了40%。

同樣，盡管前景看好，但看到三星在HBM方面如何發(fā)展PIM將是一件很有趣的事情。

一旦三星開始融合PIM和HBM，就不需要額外的工作來將PIM與其他行業(yè)標(biāo)準(zhǔn)的存儲(chǔ)系統(tǒng)結(jié)合起來，比如低功耗雙數(shù)據(jù)速率（LPDDR）和圖形雙數(shù)據(jù)速率（GDDR）。集成的便利性可能會(huì)為PIM打開許多大門。

工程師、計(jì)算機(jī)架構(gòu)師和技術(shù)愛好者預(yù)計(jì)，三星將在2022年擴(kuò)大其人工智能內(nèi)存產(chǎn)品組合，包括所有PIM技術(shù)。三星公司的領(lǐng)導(dǎo)者們需要繼續(xù)推出基于人工智能的自動(dòng)語音識(shí)別系統(tǒng)，并計(jì)劃推出更大容量的智能語音識(shí)別系統(tǒng)。