新聞中心

EEPW首頁 > 網(wǎng)絡(luò)與存儲 > 業(yè)界動態(tài) > 生成式AI大火引爆存儲產(chǎn)業(yè)新增長引擎

生成式AI大火引爆存儲產(chǎn)業(yè)新增長引擎

作者: 時間:2023-12-07 來源:電子產(chǎn)品世界 收藏

2022年ChatGPT的出現(xiàn),掀起了全球再一次的AI應(yīng)用熱潮,憑借強大的功能和杰出的用戶體驗,(AIGC)成為2022年開始最引人關(guān)注的技術(shù)新浪潮。使用深度學(xué)習(xí)模型,利用現(xiàn)有文本、圖像、音頻等內(nèi)容生成全新內(nèi)容、解決方案或新概念的人工智能技術(shù),可以通過學(xué)習(xí)輸入數(shù)據(jù)的統(tǒng)計規(guī)律,來創(chuàng)造新的數(shù)據(jù),因此它可以形成創(chuàng)造性的表達,極大地拓展了人工智能在各個領(lǐng)域的應(yīng)用前景。并且可以通過AI大模型的經(jīng)驗分析,以極有想象力的方式生成眾多滿足用戶創(chuàng)意需求的原創(chuàng)內(nèi)容,并通過包括文本、圖像、音頻、視頻甚至各類代碼等方式輸出。

本文引用地址:http://butianyuan.cn/article/202312/454164.htm

的運用有可能在不久的將來,像工業(yè)時代的鐵路、電力、印刷等通用技術(shù),影響各個產(chǎn)業(yè)。Bloomberg Intelligence報告指出,生成式AI市場可望迎來爆發(fā)性成長,在未來10年內(nèi)從400億美元的市場規(guī)模成長至1.3萬億美元。在訓(xùn)練AI系統(tǒng)所需基礎(chǔ)設(shè)施的需求推動下,有望以42%的復(fù)合年均成長率逐步擴大規(guī)模,并在中長期階段轉(zhuǎn)向?qū)Υ笮驼Z言模型、數(shù)字廣告、專業(yè)軟件和服務(wù)設(shè)施的推理需求。麥肯錫(McKinsey)預(yù)測,生成式 AI 能夠在“經(jīng)過分析的 63 種應(yīng)用中增加 2.6 萬億到 4.4 萬億美元的年收入,與之相比,英國 2021 年的 GDP 總額僅為 3.1 萬億美元。如果我們將生成式 AI 嵌入到當(dāng)前正在運行的其他任務(wù)軟件中,這一估值預(yù)計將會翻倍?!?/p>

在這龐大的生成式AI財富圈中,硬件是其中不可或缺的一環(huán),支持AI技術(shù)的發(fā)展涉及算力、存力、網(wǎng)力三大核心要求的各類硬件。在2022年下半年開始,生成式AI浪潮引爆了企業(yè)對芯片元器件的需求,其中,龐大的模型訓(xùn)練和任務(wù)部署對芯片的容量和性能的需求急劇增加,芯片正面臨著內(nèi)存墻限制的挑戰(zhàn)。美光致力于為世界最先進的計算系統(tǒng)提供業(yè)界性能最佳的解決方案。美光科技領(lǐng)先的工藝提供了更快、更可靠和更大容量的產(chǎn)品,使人工智能、機器學(xué)習(xí)和生成人工智能成為可能。

在生成式AI技術(shù)出現(xiàn)之前,很多人在優(yōu)化AI應(yīng)用體驗時就感受到了存力對AI應(yīng)用的制約。AI模型的訓(xùn)練機制需要盡可能多的數(shù)據(jù),越多的數(shù)據(jù)投喂結(jié)果越精準(zhǔn)的工作原理,決定了大模型訓(xùn)練存在深度學(xué)習(xí)網(wǎng)絡(luò)層數(shù)多、連接多、參數(shù)和數(shù)據(jù)集種類復(fù)雜、數(shù)據(jù)量大的特征,隨著模型參數(shù)和數(shù)據(jù)量的快速增長,對于存儲的大容量和擴展需求也迫在眉睫。

1703148620540795.png

綜合生成式AI在存儲方面所面臨的挑戰(zhàn),大致可以分為幾個方面。

首當(dāng)其沖的是GPU面臨的存儲容量問題,因為計算單元的存儲能力有限,其計算效率同時受制于計算能力和與存儲單元的通信能力。比如用于生成式AI模型訓(xùn)練的單卡無法完整存儲一個大模型的參數(shù)GPT-3的1750億個參數(shù)。參數(shù)本身就需要700GB的顯存空間(每個參數(shù)按照4個字節(jié)計算)。

而以NVIDIA A100 GPU為例只有80GB顯存,單卡增加顯存似乎又涉及到成本和尺寸等問題,雖然該問題可以通過分布式訓(xùn)練流水線并行的方式去解決,但分布式訓(xùn)練之后又會遇到通信墻的問題。再比如一臺AI服務(wù)器需要的存儲數(shù)量是普通服務(wù)器的3~6倍,而生成式AI對服務(wù)器的存儲容量要求更大,無論是大規(guī)模模型的構(gòu)建,還是海量訓(xùn)練數(shù)據(jù)的讀取,以及最基本的天量級訓(xùn)練素材的儲備和搜集,都需要龐大的服務(wù)器存儲容量以及盡可能高速且低功耗的讀取過程,因為以更快的速度處理數(shù)據(jù)需要大量的功耗,這將不可避免地導(dǎo)致大量碳排放。

更多的存儲方面的問題還集中在AI集群每天都會產(chǎn)生大量新的數(shù)據(jù)集,歷史數(shù)據(jù)的完整歸檔;小文件和非結(jié)構(gòu)化數(shù)據(jù)過多,需要一個針對小文件存儲進行優(yōu)化的分布式存儲系統(tǒng)。

云訓(xùn)練數(shù)據(jù)I/O效率低,對象存儲較差的讀寫性能可能會導(dǎo)致訓(xùn)練過程中出現(xiàn)嚴(yán)重的瓶頸;以及持續(xù)的低延遲與高帶寬和EB級大容量存儲需求。  

基于上述要求,HBM(High Bandwidth Memory,高帶寬內(nèi)存)作為一款新型的CPU/GPU 內(nèi)存芯片比較好的滿足了生成式AI的存儲需求,HBM其實就是將很多個DDR芯片堆疊在一起后和GPU封裝在一起,實現(xiàn)大容量,高位寬的DDR組合陣列。高速、高帶寬HBM堆棧沒有以外部互連線的方式與信號處理器芯片連接,而是通過中間介質(zhì)層緊湊而快速地連接,同時HBM內(nèi)部的不同DRAM采用TSV實現(xiàn)信號縱向連接,從而可擴展更大的容量,并提供更低的功耗以及更小的體積。

目前第四代產(chǎn)品HBM3,速率則提高到了6.4Gbps,最大容量則增加到了24GB。HBM3所提供的內(nèi)存帶寬對實現(xiàn)下一代高性能計算、人工智能和百萬兆級系統(tǒng)至關(guān)重要?;谶^去兩年存儲行業(yè)低迷的行情,生成式AI的橫空出世直接引爆了HBM3的市場需求,進而帶動2023年三季度開始存儲器全行業(yè)的復(fù)蘇。生成式 AI 需要同時訪問和獲取海量數(shù)據(jù),并從大容量內(nèi)存中汲取數(shù)據(jù)以做出適當(dāng)響應(yīng)。這需要美光第二代 HBM3 (HBM3E)、高密度 DDR5 DRAM 和 TB 級 SSD 存儲等技術(shù),以滿足在云端進行生成式 AI 訓(xùn)練和推理所需的速度和容量。美光的HBM3E內(nèi)存采用了eight-tier布局,每個堆棧的容量達到了24 GB,可以實現(xiàn)每秒1.2 TB的傳輸速度。與此同時,它采用了先進的1β技術(shù),這意味著制造工藝更加先進,有望提供更高的性能和效率,并降低制造成本。

1703148673571829.png

生成式AI技術(shù)的火爆也開始逐漸蔓延到智能手機產(chǎn)業(yè),隨著高通和聯(lián)發(fā)科技紛紛發(fā)布最新主打面向生成式AI的新旗艦SoC,智能手機產(chǎn)業(yè)將在2023年底正是邁向生成式AI時代,并在未來一兩年內(nèi)成為旗艦手機的標(biāo)配。生成式AI的加入,讓智能手機的存儲需求大幅提升,這就提供給美光LPDDR5X更多的實戰(zhàn)空間。對手機等終端設(shè)備而言,提供平衡的功耗和性能是助力 AI 驅(qū)動用戶體驗的關(guān)鍵,美光最新推出擁有9600Mbps的LPDDR5X內(nèi)存讓手機擁有更快的處理速度,能滿足手持高性能生成式 AI 設(shè)備所需的速度和帶寬。值得一提的是,美光的新一代LPDDR5X采用了最新的1β工藝,能夠?qū)崿F(xiàn)單顆16GB的封裝容量,同時整體能耗將會降低30%,美光也將PC內(nèi)存上常用的動態(tài)電壓和頻率調(diào)節(jié)帶到了移動端。

1703148727936545.png

其實,美光不僅提供關(guān)鍵的生成式 AI 內(nèi)存和存儲解決方案,還將 AI 應(yīng)用于公司內(nèi)部的硅制造流程。硅制造流程非常復(fù)雜,需要耗時數(shù)月,涉及約 1,500 道工序。美光將前沿 AI 技術(shù)應(yīng)用于制造流程的全部工序,顯著提高了準(zhǔn)確性和生產(chǎn)效率。這樣做不僅能提高產(chǎn)量、良率與質(zhì)量、提供更安全的工作環(huán)境、改善效率,還能助力公司推進可持續(xù)發(fā)展。            

無論是制造業(yè)、汽車、科學(xué)還是其他應(yīng)用領(lǐng)域,生成式 AI 及其衍生技術(shù)都將以超乎人類想象的方式塑造未來,而美光在驅(qū)動您的穿戴、手持和云端設(shè)備數(shù)據(jù)中扮演著核心角色。




關(guān)鍵詞: 生成式AI 存儲

評論


相關(guān)推薦

技術(shù)專區(qū)

關(guān)閉