AI硬件核心HBM，需求爆發(fā)增長(zhǎng)

2022年末，ChatGPT的面世無疑成為了引領(lǐng)AI浪潮的標(biāo)志性事件，宣告著新一輪科技革命的到來。從ChatGPT掀起的一片浪花，到無數(shù)大模型席卷全球浪潮，AI的浪潮一浪高過一浪。

       在這波浪潮中，伴隨著人才、數(shù)據(jù)、算力的不斷升級(jí)，AI產(chǎn)業(yè)正展現(xiàn)出巨大的潛力和應(yīng)用前景，并在多個(gè)領(lǐng)域展現(xiàn)出重要作用。AI的快速發(fā)展對(duì)算力的需求呈現(xiàn)井噴的態(tài)勢(shì)，全球算力規(guī)模超高速增長(zhǎng)。在這場(chǎng)浪潮中，最大的受益者無疑是英偉達(dá)，其憑借在GPU領(lǐng)域的優(yōu)勢(shì)脫穎而出，然而對(duì)于AI的大算力需求，人們的眼光全部都在GPU上，但另一個(gè)硬件同樣也是核心，那就是HBM，AI 硬件核心是算力和存力，HBM 高帶寬、低功耗優(yōu)勢(shì)顯著，是算力性能發(fā)揮的關(guān)鍵。

美光、SK海力士今年HBM已售罄

HBM是一款新型的CPU/GPU內(nèi)存芯片。其將很多個(gè)DDR芯片堆疊在一起后和GPU封裝在一起，實(shí)現(xiàn)大容量、高位寬的DDR組合陣列。通俗來說，傳統(tǒng)的DDR就是采用的"平房設(shè)計(jì)"方式，HBM則是"樓房設(shè)計(jì)"方式，從而可實(shí)現(xiàn)了更高的性能和帶寬，因此，其將傳輸信號(hào)、指令、電流都進(jìn)行了重新設(shè)計(jì)，而且對(duì)封裝工藝的要求也高了很多。

其實(shí)最開始設(shè)計(jì)HBM的初衷，就是為了向GPU和其它處理器提供更多的內(nèi)存。這主要是因?yàn)殡S著GPU 的功能越來越強(qiáng)大，需要更快地從內(nèi)存中訪問數(shù)據(jù)，以縮短應(yīng)用處理時(shí)間。例如，AI和視覺，具有巨大內(nèi)存和計(jì)算和帶寬要求。

所以我們可以看到，在AI場(chǎng)景中，英偉達(dá)的GPU芯片不再是單獨(dú)售賣：從流程上，英偉達(dá)首先設(shè)計(jì)完GPU，然后采購(gòu)海力士的HBM，最后交由臺(tái)積電利用CoWoS封裝技術(shù)將GPU和HBM封裝到一張片子上，最終交付給AI服務(wù)器廠商。最終產(chǎn)品結(jié)構(gòu)正如海力士的宣傳材料展示的一樣。

目前，HBM產(chǎn)品以HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）、HBM3E（第五代）的順序開發(fā)，最新的HBM3E是HBM3的擴(kuò)展版本。迭代方向是提高容量和帶寬，容量可以通過堆疊層數(shù)或增加單層 容量獲得提升，帶寬提升主要是通過提升 I/O 速度。

過去幾年來，HBM產(chǎn)品帶寬增加了數(shù)倍，目前已接近或達(dá)到1TB/秒的里程碑節(jié)點(diǎn)。相較于同期內(nèi)其他產(chǎn)品僅增加兩三倍的帶寬增速，HBM的快速發(fā)展歸功于存儲(chǔ)器制造商之間的競(jìng)爭(zhēng)和比拼。

      下一代HBM4有望于2025-2026年推出。隨著客戶對(duì)運(yùn)算效能要求的提升，HBM4在堆棧的層數(shù)上，除了現(xiàn)有的12hi（12層）外，也將再往16hi（16層）發(fā)展，更高層數(shù)也預(yù)估帶動(dòng)新堆棧方式hybrid bonding的需求。HBM4 12hi產(chǎn)品將于2026年推出，而16hi產(chǎn)品則預(yù)計(jì)于2027年問世。

HBM突破了內(nèi)存容量與帶寬瓶頸，可以為GPU提供更快的并行數(shù)據(jù)處理速度，打破“內(nèi)存墻”對(duì)算力提升的阻礙。憑借諸多優(yōu)勢(shì)，HBM成為AI時(shí)代的“新寵”，受到各大廠商的追捧，市場(chǎng)需求強(qiáng)勁。

目前主流 AI 訓(xùn)練芯片都使用 HBM，一顆 GPU 配多顆 HBM。以英偉達(dá) H100 為例，1 顆英偉達(dá) H100 PICe 使用臺(tái)積電 CoWoS-S 封裝技術(shù)將 7 顆芯片（1 顆 GPU+6 顆 HBM）封在一起，1 顆 GPU 由 6 顆 HBM 環(huán) 繞，其中 5 顆是 active HBM，每顆 HBM 提供 1024bit 總線位寬，5 顆 共提供 5120bit 總線位寬，另外 1 顆是 non-HBM，可使用硅材料，起到 芯片的結(jié)構(gòu)支撐作用。H100 PCIe 的 HBM 總?cè)萘?nbsp;80GB，使用 5 顆 activer HBM2E，每顆 HBM2E 容量 16GB，每顆 HBM2E 是由 8 層 2GB DRAM Die 堆疊組成。       

并且AI浪潮還在愈演愈烈，HBM今后的存在感或許會(huì)越來越強(qiáng)。據(jù)semiconductor-digest預(yù)測(cè)，到2031年，全球HBM市場(chǎng)預(yù)計(jì)將從2022年的2.93億美元增長(zhǎng)到34.34億美元，在2023-2031年的預(yù)測(cè)期內(nèi)復(fù)合年增長(zhǎng)率為31.3%。

2025年HBM價(jià)格調(diào)漲約5~10%，占DRAM總產(chǎn)值預(yù)估將逾三成

        這樣的市場(chǎng)表現(xiàn)，無疑證明了HBM在市場(chǎng)上的巨大潛力。它不僅僅是一種存儲(chǔ)芯片，更是AI時(shí)代的“金礦”。 HBM也是AI芯片中占比最高的部分，根據(jù)外媒的拆解，H100的成本接近3000美元，而其中占比最高的是來自海力士的HBM，總計(jì)達(dá)到2000美元左右，超過制造和封裝，成為成本中最大的單一占比項(xiàng)。

目前全球量產(chǎn)的只有海力士、三星、美光科技三家公司，2022年HBM市場(chǎng)份額中，SK海力士獨(dú)占50%，三星約40%，美光僅10%，且SK海力士是目前唯一量產(chǎn)HBM3的公司。

SK海力士

在人工智能的天空中，有三顆星辰璀璨奪目，它們分別是英偉達(dá)、臺(tái)積電，但還有一家公司也占據(jù)了AI食物鏈的頂端，卻鮮為人知，它就是——海力士。

海力士雖然在公眾視野中的曝光度不如英偉達(dá)及臺(tái)積電，但其在存儲(chǔ)技術(shù)領(lǐng)域的影響力不容小覷。作為全球領(lǐng)先的存儲(chǔ)解決方案供應(yīng)商之一，海力士在提供高性能、高穩(wěn)定性的DRAM和NAND閃存產(chǎn)品方面，有著不可替代的地位。它的產(chǎn)品廣泛應(yīng)用于數(shù)據(jù)中心、移動(dòng)設(shè)備和個(gè)人電腦等，是支撐現(xiàn)代信息社會(huì)運(yùn)轉(zhuǎn)的基石之一。

SK海力士與臺(tái)積電攜手加強(qiáng)HBM技術(shù)領(lǐng)導(dǎo)力

雖然HBM非常昂貴，但隨著AI基礎(chǔ)算力需求的大爆發(fā)，草根調(diào)研顯示當(dāng)前HBM仍是一芯難求，海力士2024年所有的產(chǎn)能都已經(jīng)完全被預(yù)定，行業(yè)的供需失衡可能在2025年也仍無法得到有效的緩解。

早在10年前的2013年，海力士就首次制造出HBM，并被行業(yè)協(xié)會(huì)采納為標(biāo)準(zhǔn)。2015年，AMD成為第一個(gè)使用HBM的客戶。但在此之后，HBM由于價(jià)格高昂，下游根本不買單，甚至一度被認(rèn)為是點(diǎn)錯(cuò)了科技樹。

        但海力士依然在這個(gè)方向持續(xù)深耕，并沒有放棄。在2015-2022年，雖然并沒有什么突出客戶，海力士仍然對(duì)HBM產(chǎn)品進(jìn)行了多達(dá)3次技術(shù)升級(jí)，絲毫不像對(duì)待一個(gè)邊緣產(chǎn)品的待遇。最終，憑借著2023年至今的AI浪潮，海力士的HBM一芯難求，從無人問津到一飛沖天，10年的堅(jiān)守終于換了回報(bào)。在低迷的韓國(guó)股市中，海力士股價(jià)也一騎絕塵，實(shí)現(xiàn)翻倍，成為跟上全球AI浪潮的唯一一家韓國(guó)公司。

SK海力士“狂飆”，HBM是“救命良藥”

在很長(zhǎng)一段時(shí)間內(nèi)，SK海力士都是英偉達(dá)HBM的獨(dú)家供應(yīng)商。2023年SK海力士基本壟斷了HBM3供應(yīng)，今年其HBM3與HBM3E的訂單也已售罄。作為英偉達(dá)HBM的主要供應(yīng)商，過去一年中，SK海力士股價(jià)飆升超過60%。

累計(jì)上漲100%還不停！消息稱SK海力士將對(duì)內(nèi)存等漲價(jià)至少上調(diào)20%

       近期，SK海力士透露，其下一代 HBM4 內(nèi)存將于2024年著手開發(fā)，2026年開始大規(guī)模生產(chǎn)，屆時(shí)將為英偉達(dá)Blackwell B100的下一代 AI GPU 提供支持。此外，SK 海力士還計(jì)劃在 HBM4 也采用先進(jìn) MR-MUF 技術(shù)，從而實(shí)現(xiàn) 16 層堆疊，正在積極研究混合鍵合（Hybrid bonding）技術(shù)。MR-MUF 技術(shù)與過去的工藝相比，將芯片堆疊壓力降低至 6% 的程度，也縮短工序時(shí)間，將生產(chǎn)效率提高至 4 倍，散熱率提高了 45%；同時(shí) MR-MUF 技術(shù)在維持 MR-MUF 優(yōu)點(diǎn)的同時(shí)采用了新的保護(hù)材料，得以使散熱性能改善 10%。

 SK海力士開發(fā)新一代移動(dòng)端NAND閃存解決方案“ZUFS 4.0”

SK海力士發(fā)布2024財(cái)年第一季度財(cái)務(wù)報(bào)告

OpenAI首席執(zhí)行官本周訪韓，預(yù)計(jì)將與SK集團(tuán)會(huì)長(zhǎng)討論AI芯片合作

AI推動(dòng)SK海力士DRAM市場(chǎng)份額達(dá)到有史以來最高水平

三星

據(jù)日經(jīng)新聞報(bào)道，英偉達(dá)正在尋求從三星購(gòu)買HBM芯片，那這個(gè)消息再次印證了HBM的緊缺性。光是英偉達(dá)一家公司已經(jīng)吃光了SK海力士和美光的產(chǎn)能，這還不夠，還要再吃下三星新建的產(chǎn)能。

內(nèi)存領(lǐng)域的霸主三星，得益于在DRAM上的深厚積累，以及并不落后的技術(shù)儲(chǔ)備，迅速崛起成為HBM排名第二的玩家。

黃仁勛：三星是一家非常優(yōu)秀的公司，英偉達(dá)正驗(yàn)證其 HBM 內(nèi)存

       2016年三星開始大規(guī)模量產(chǎn)HBM。落后于海力士3年；而根據(jù)公司最新進(jìn)展，三星已經(jīng)于2023年實(shí)現(xiàn)了HBM3的量產(chǎn)出貨，而將在今年上半年推出HBM3E，而且規(guī)劃2025年實(shí)現(xiàn)HBM4的量產(chǎn)。根據(jù)這一規(guī)劃，三星與海力士的差距已經(jīng)縮小到半年左右，而差距有望于2025年被完全消除。

三星存儲(chǔ)業(yè)務(wù)重心轉(zhuǎn)向企業(yè)領(lǐng)域：目標(biāo)今年 HBM 產(chǎn)量增加 3 倍，明年再翻番

         三星除了有DRAM的底氣之外，由于HBM當(dāng)中包含部分邏輯芯片的電路，因此三星電子依托于自有的邏輯晶圓廠，確實(shí)具備彎道超車的比較優(yōu)勢(shì)。而且同為韓國(guó)公司，直接挖相關(guān)人才也更為容易。

三星組建HBM產(chǎn)能質(zhì)量提升團(tuán)隊(duì)，加速AI推理芯片Mach-2開發(fā)

不久前，三星成功地躋身英偉達(dá)的供應(yīng)鏈，這讓其在HBM領(lǐng)域的地位進(jìn)一步得到了加固。此舉也彰顯了三星與AMD之間的深厚合作，據(jù)悉，三星的HBM3產(chǎn)品已經(jīng)通過了AMD的驗(yàn)證，可謂是實(shí)力不俗。

        而眼下，HBM3e的光芒也逐漸浮出水面。這種新一代高帶寬內(nèi)存規(guī)格被認(rèn)為將成為未來市場(chǎng)的主流。SK海力士率先通過了驗(yàn)證，美光也已經(jīng)開始推出HBM3e產(chǎn)品。而三星也在這個(gè)戰(zhàn)場(chǎng)上搶灘登陸，其HBM3e產(chǎn)品預(yù)計(jì)將在第一季末前通過驗(yàn)證，并開始大規(guī)模出貨。

作為全球唯一一家同時(shí)在存儲(chǔ)芯片和邏輯芯片領(lǐng)域均處于領(lǐng)跑集團(tuán)的公司，三星計(jì)劃在未來幾年內(nèi)斥資超400億美元，建立一整套半導(dǎo)體研發(fā)和生產(chǎn)生態(tài)。

       毫無疑問，在HBM領(lǐng)域起了個(gè)大早的韓國(guó)，也絲毫沒有放松，還在朝前一路狂奔。

三星否認(rèn)將 MR-MUF 堆疊方案引入 HBM 生產(chǎn)，稱現(xiàn)有 TC-NCF 方案效果良好

三星發(fā)布其首款36GB HBM3E 12H DRAM，滿足人工智能時(shí)代的更高要求

美光

近期美光透露，今年其HBM產(chǎn)能銷售一空，明年絕大多數(shù)產(chǎn)能已被預(yù)訂，并且其上月表示，已開始量產(chǎn)其高帶寬存儲(chǔ)半導(dǎo)體HBM3E，用于英偉達(dá)的H200 Tensor Core GPU。

美光表示24年和25年大部分時(shí)間的高帶寬內(nèi)存已售罄

光科技過去一年半來股價(jià)飛漲，分析師以存儲(chǔ)產(chǎn)品報(bào)價(jià)轉(zhuǎn)強(qiáng)為由，將美光投資評(píng)等從中立調(diào)高至表現(xiàn)優(yōu)于大盤，2024年目標(biāo)價(jià)從原本的115美元上修至150美元。并且其HBM產(chǎn)品有望在2024會(huì)計(jì)年度創(chuàng)造數(shù)億美元營(yíng)業(yè)額，HBM營(yíng)收預(yù)料自2024會(huì)計(jì)年度第三季起為美光DRAM業(yè)務(wù)以及整體毛利率帶來正面貢獻(xiàn)。美光今年HBM產(chǎn)能已銷售一空、2025年絕大多數(shù)產(chǎn)能已被預(yù)訂。另外預(yù)期2024年DRAM、NAND產(chǎn)業(yè)供給都將低于需求。

HBM 的高需求，加之其對(duì)晶圓的高消耗，擠壓了其他 DRAM 的投片量。美光表示非 HBM 內(nèi)存正面臨供應(yīng)緊張的局面。

美光開始量產(chǎn)行業(yè)領(lǐng)先的HBM3E解決方案，加速人工智能發(fā)展

        此外，美光宣稱其 8Hi HBM3E 內(nèi)存已開始大批量出貨，可在截至 8 月末的本財(cái)年中貢獻(xiàn)數(shù)億美元的收入。

美光率先出貨用于AI數(shù)據(jù)中心的關(guān)鍵內(nèi)存產(chǎn)品

美光高性能內(nèi)存與存儲(chǔ)，推動(dòng) AI 豐富殘障人士生活體驗(yàn)