高速運(yùn)算平臺(tái)內(nèi)存爭(zhēng)霸 AI應(yīng)用推升內(nèi)存需求

在不同AI運(yùn)算領(lǐng)域中，依照市場(chǎng)等級(jí)的需要，大致上可以分成三種，一種是作為高性能運(yùn)算中心的人工智能、機(jī)器學(xué)習(xí)與圖形處理的超高速運(yùn)算與傳輸需求；一種是一般企業(yè)的AI服務(wù)器、一般計(jì)算機(jī)與筆電的演算應(yīng)用；另一種是一般消費(fèi)電子如手機(jī)、特殊應(yīng)用裝置或其它邊緣運(yùn)算的應(yīng)用。
現(xiàn)階段三種等級(jí)的應(yīng)用，所搭配的內(nèi)存也會(huì)有所不同，等級(jí)越高內(nèi)存的性能要求越高，業(yè)者要進(jìn)入的門坎也越高。不過(guò)因?yàn)楦黝?a class="contentlabel" href="http://butianyuan.cn/news/listbylabel/label/AI">AI應(yīng)用的市場(chǎng)需求龐大，各種內(nèi)存的競(jìng)爭(zhēng)也異常的激烈，不斷地開(kāi)發(fā)更新產(chǎn)品，降低成本，企圖向上向下擴(kuò)大應(yīng)用，所以只有隨時(shí)保持容量、速度與可靠度的優(yōu)勢(shì)才是王道。本文就以這三種等級(jí)現(xiàn)在最熱門的內(nèi)存發(fā)展來(lái)做說(shuō)明。


AI高性能運(yùn)算中心等級(jí)內(nèi)存
搭配這種AI芯片的內(nèi)存，毫無(wú)懸念就屬HBM獨(dú)占鰲頭了。市占率達(dá)95%的Nvidia AI芯片都是以HBM系列內(nèi)存來(lái)搭配，最新的H200 GPU以H100為基礎(chǔ)，將原本80GB的HBM3內(nèi)存升級(jí)為141GB的HBM3e。而競(jìng)爭(zhēng)對(duì)手AMD同等級(jí)的MI350 AI芯片也采用HBM3e新型高帶寬內(nèi)存。緊追在后的Intel Gaudi 3 AI芯片當(dāng)然也是使用HBM系列的HBM2e內(nèi)存。HBM系列內(nèi)存早已供不應(yīng)求了。
HBM內(nèi)存采用了3D堆棧技術(shù)和通過(guò)硅穿孔（TSV, Through-Silicon Vias）連接技術(shù)來(lái)堆棧多層芯片，這使得數(shù)據(jù)傳輸距離短，速度快，功耗低。這種堆棧方式和垂直連接的設(shè)計(jì)是HBM的核心技術(shù)特點(diǎn)。使用硅基材料并通過(guò)精密的微加工技術(shù)制造這些穿孔，以實(shí)現(xiàn)層與層之間的密集連接。


 
圖一 : NVIDIA﹑AMD﹑Intel已上市的AI加速器產(chǎn)品及其搭配的內(nèi)存一覽

顯然目前所有AI加速器都采用HBM記憶體系列，而未來(lái)將制定的DDR6和DDR7內(nèi)存是否有機(jī)會(huì)跨入此一市場(chǎng)？雖然DDR6等是傳統(tǒng)的動(dòng)態(tài)隨機(jī)存取內(nèi)存（DRAM）技術(shù)的進(jìn)一步演進(jìn)，專為提升系統(tǒng)內(nèi)存帶寬和效率而設(shè)計(jì)。它們未來(lái)還是主要用于個(gè)人計(jì)算機(jī)、服務(wù)器和一些嵌入式系統(tǒng)中，預(yù)計(jì)DDR6的數(shù)據(jù)傳輸速率可達(dá)到12.8 Gbps，而DDR7可能會(huì)更高，但這些仍主要在應(yīng)付PC提升到AI PC后，對(duì)于高容量、高速度內(nèi)存的需求。

目前市場(chǎng)上提供HBM技術(shù)的主要廠商包括：
SK海力士（SK Hynix）：提供HBM1、HBM2、HBM2E與HBM3產(chǎn)品。
三星電子（Samsung Electronics）：同樣涵蓋從HBM1到HBM3的產(chǎn)品線。
美光科技（Micron Technology）：較晚進(jìn)入HBM市場(chǎng)，但也開(kāi)始提供HBM2產(chǎn)品，并參與未來(lái)更高規(guī)格的研發(fā)。


AI PC與服務(wù)器等級(jí)的內(nèi)存
一般計(jì)算機(jī)、筆電、服務(wù)器、游戲主機(jī)升級(jí)為各類AI應(yīng)用后，所需要的內(nèi)存容量與帶寬速率也都要擴(kuò)增，AI PC和游戲機(jī)等級(jí)的AI芯片與內(nèi)存的需求主要集中在高處理能力、高帶寬、低延遲和大容量上。這些設(shè)備通常用于需求密集型的任務(wù)，如游戲渲染、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)訓(xùn)練及推理等。這類應(yīng)用需要強(qiáng)大的計(jì)算能力和快速的數(shù)據(jù)存取能力。
高帶寬和低延遲的內(nèi)存可以支持密集型的圖形和AI計(jì)算，所需的內(nèi)存必須具有高帶寬來(lái)處理大量數(shù)據(jù)流。低延遲確保了快速響應(yīng)，這對(duì)于實(shí)時(shí)游戲性能、虛擬現(xiàn)實(shí)、擴(kuò)增實(shí)境和AI應(yīng)用至關(guān)重要。大容量?jī)?nèi)存為了因應(yīng)游戲和AI應(yīng)用越來(lái)越復(fù)雜，需要更多的內(nèi)存來(lái)存儲(chǔ)更詳細(xì)的資產(chǎn)和機(jī)器學(xué)習(xí)模型。
目前此一等級(jí)AI應(yīng)用的內(nèi)存仍以DDR4為主，未來(lái)配合AI應(yīng)用軟件與操作系統(tǒng)的更新，更高容量與速度的DDR5乃至于DDR6就會(huì)因應(yīng)而成為主流內(nèi)存了。至于介于AI PC與終端、邊緣運(yùn)算裝置之間的平板計(jì)算機(jī)，則是以低功耗的LPDDR系列為主，會(huì)在下一個(gè)等級(jí)的應(yīng)用里再做詳細(xì)說(shuō)明。


 
圖二 : 主要的AI PC制造商及其使用的內(nèi)存和處理器規(guī)格

消費(fèi)性電子與邊緣運(yùn)算等級(jí)的內(nèi)存
目前平板計(jì)算機(jī)的規(guī)格功能已經(jīng)與筆電差不多了，而筆電、平板計(jì)算機(jī)，乃至于手機(jī)的設(shè)計(jì)都是以輕薄短小容易攜帶為主，所以都是低功耗的LPDDR為主，但為了未來(lái)AI應(yīng)用的需求，更省電與效率更高的新形態(tài)內(nèi)存也會(huì)陸續(xù)推出，LPDDR5、LPDDR6都是可以期待的應(yīng)用系列，因?yàn)檫@些都是符合容量、速度加倍與大量生產(chǎn)的需求。

一般筆電、平板與手機(jī)都可以視為一種AI助手的應(yīng)用來(lái)發(fā)展，主要智能化需要自身做邊緣運(yùn)算與大量數(shù)據(jù)傳輸?shù)捻?xiàng)目有下列幾種，而這些都需要高容量、高帶寬、高可靠性與低延遲的內(nèi)存來(lái)支撐：
1.相機(jī)增強(qiáng)：許多智能手機(jī)使用AI來(lái)改進(jìn)圖像質(zhì)量，包括場(chǎng)景識(shí)別、光線調(diào)整、人像模式等。這些功能需要AI算法實(shí)時(shí)分析和處理圖像數(shù)據(jù)，需要快速且大容量的內(nèi)存。
2.語(yǔ)音助手：如Google Assistant和Siri，這些AI助手需要實(shí)時(shí)處理語(yǔ)音指令并作出響應(yīng)，這對(duì)內(nèi)存的響應(yīng)速度和處理能力提出了高要求。
3.實(shí)時(shí)翻譯：現(xiàn)代智能手機(jī)能夠?qū)崟r(shí)翻譯外語(yǔ)對(duì)話或文字，這需要快速存取內(nèi)存來(lái)處理語(yǔ)音和文字?jǐn)?shù)據(jù)，并實(shí)時(shí)顯示翻譯結(jié)果。
4.增強(qiáng)現(xiàn)實(shí)：AR應(yīng)用程序利用AI來(lái)分析用戶的環(huán)境并以此來(lái)迭加數(shù)字信息。這種應(yīng)用需要海量存儲(chǔ)器以存儲(chǔ)復(fù)雜的3D模型和圖像，同時(shí)保持快速的數(shù)據(jù)處理速度。

這些應(yīng)用顯示了AI技術(shù)如何推動(dòng)智能筆電、平板與手機(jī)的內(nèi)存技術(shù)創(chuàng)新，以滿足高效能和多功能的需求。
至于嵌入式或其它邊緣運(yùn)算裝置，需要在電池供電或低能源消耗的環(huán)境下運(yùn)作，所以它們的內(nèi)存設(shè)計(jì)必須更優(yōu)化來(lái)降低功耗。除了上面LPDDR系列可供選擇外，他們通常需要在更狹窄的空間來(lái)應(yīng)用，所以為了減省空間與綜合處理，高容量、高帶寬的非揮發(fā)性的內(nèi)存也是未來(lái)的趨勢(shì)與選擇，下面是可應(yīng)用發(fā)展的方向：

1.磁阻隨機(jī)存取內(nèi)存（MRAM）：MRAM是一種相對(duì)較新的技術(shù)，結(jié)合了DRAM的速度和閃存的非揮發(fā)性特點(diǎn)。它特別適合于需要快速訪問(wèn)速度和數(shù)據(jù)持久性的嵌入式應(yīng)用。

2.鐵電隨機(jī)存取內(nèi)存（FeRAM）：FeRAM也是一種非揮發(fā)性內(nèi)存，提供快速讀寫(xiě)能力和高耐久性。這使得它適合于需要頻繁讀寫(xiě)操作且數(shù)據(jù)保持很重要的應(yīng)用。

這兩種內(nèi)存類型在設(shè)計(jì)時(shí)需要考慮到裝置的具體應(yīng)用，例如處理能力、功耗限制和環(huán)境因素。其中MRAM在容量與帶寬都在持續(xù)發(fā)展與突破當(dāng)中，被一般業(yè)界所看好的一種未來(lái)內(nèi)存。總之選擇合適的內(nèi)存技術(shù)可以顯著提高嵌入式系統(tǒng)和邊緣運(yùn)算裝置的性能和可靠性。


 
圖三 : 恩智浦半導(dǎo)體(NXP)攜手臺(tái)積電，推出業(yè)界首款采用16奈米 FinFET技術(shù)的車用嵌入式磁阻式隨機(jī)存取內(nèi)存（MRAM）。（source：NXP）

嵌入式系統(tǒng)與邊緣運(yùn)算的智能化應(yīng)用在未來(lái)?yè)碛袕V大且創(chuàng)新的市場(chǎng)，在跨領(lǐng)域的專業(yè)用途上，內(nèi)存產(chǎn)業(yè)也會(huì)隨之?dāng)U大市場(chǎng)應(yīng)用，當(dāng)在某一個(gè)領(lǐng)域達(dá)到一定規(guī)模之后，專門特殊規(guī)格的內(nèi)存也可能因應(yīng)而生，以下就是一些應(yīng)用案例：
1.智能攝像頭：在安全監(jiān)控或智能家居系統(tǒng)中，邊緣裝置需要實(shí)時(shí)分析視頻數(shù)據(jù)來(lái)進(jìn)行物體識(shí)別或異常行為檢測(cè)，這要求內(nèi)存能夠快速處理和存儲(chǔ)大量數(shù)據(jù)。
2.無(wú)人駕駛汽車：在自動(dòng)駕駛系統(tǒng)中，嵌入式裝置需實(shí)時(shí)處理來(lái)自雷達(dá)、攝像頭和其他傳感器的數(shù)據(jù)，以實(shí)現(xiàn)對(duì)周圍環(huán)境的快速反應(yīng)。這類應(yīng)用對(duì)內(nèi)存的速度和可靠性要求非常高。
3.可穿戴設(shè)備：如智能手表或健康監(jiān)測(cè)設(shè)備，它們需要在極小的空間內(nèi)儲(chǔ)存和處理數(shù)據(jù)，同時(shí)保持低功耗以延長(zhǎng)電池壽命。
4.工業(yè)自動(dòng)化：在工廠自動(dòng)化中，邊緣計(jì)算設(shè)備可用于實(shí)時(shí)監(jiān)控生產(chǎn)線，識(shí)別潛在的機(jī)械故障或優(yōu)化生產(chǎn)流程，這些裝置通常需要在惡劣環(huán)境下運(yùn)作，且內(nèi)存需具備高可靠性。

這些應(yīng)用案例顯示，隨著AI技術(shù)的進(jìn)步和應(yīng)用范圍的擴(kuò)大，嵌入式和邊緣運(yùn)算裝置的內(nèi)存技術(shù)也在不斷進(jìn)化以滿足新的需求。


結(jié)語(yǔ)
AI運(yùn)算平臺(tái)可分為三種等級(jí)，而其搭配的內(nèi)存效能也有所差別，主要就是為了滿足運(yùn)算的需求，以及特殊領(lǐng)域的專門用途。但AI內(nèi)存應(yīng)用有其一致性的原則，為了不同等級(jí)開(kāi)發(fā)的內(nèi)存，也都可能向下或向上發(fā)展來(lái)擴(kuò)充其市場(chǎng)應(yīng)用，同時(shí)運(yùn)算系統(tǒng)也不斷在更新發(fā)展，不同種類的內(nèi)存、不同世代的內(nèi)存，也都可以交互使用。例如第一代的HBM，轉(zhuǎn)而給一般服務(wù)器PC來(lái)使用，以增強(qiáng)其機(jī)器學(xué)習(xí)的應(yīng)用。但若意圖以同一種類的內(nèi)存來(lái)供應(yīng)所有市場(chǎng)的需求，這也是不可能辦到的事，預(yù)料未來(lái)內(nèi)存仍將持續(xù)地百花齊放。