HBM4技術(shù)競賽，進(jìn)入白熱化

HBM（HighBandwidth Memory，高帶寬內(nèi)存）是一款新型的 CPU/GPU 內(nèi)存芯片，其實(shí)就是將很多個(gè) DDR 芯片堆疊在一起后和 GPU 封裝在一起，實(shí)現(xiàn)大容量，高位寬的 DDR 組合陣列。該內(nèi)存技術(shù)突破了內(nèi)存容量與帶寬瓶頸，被視為新一代 DRAM 解決方案，也契合了半導(dǎo)體技術(shù)小型化、集成化的發(fā)展趨勢(shì)。

過去 10 年里，HBM 技術(shù)性能不斷升級(jí)迭代，已經(jīng)成為高性能計(jì)算領(lǐng)域重要的技術(shù)基石之一。2023 年初以來，以 ChatGPT 為代表的 AI 大模型催生了巨量的算力需求，使 HBM 成為整個(gè)存儲(chǔ)芯片行業(yè)為數(shù)不多的比較景氣的細(xì)分市場(chǎng)。

在當(dāng)下的 HBM 市場(chǎng)有兩大熱詞，一個(gè)是「HBM3 缺貨」另一個(gè)便是「HBM4 技術(shù)競賽」。

HBM3 缺貨的號(hào)角已經(jīng)吹響很久。近日 SK 海力士 CEO 郭魯正透露，公司今年的 HBM 產(chǎn)能已經(jīng)全部售罄，明年訂單也基本售罄。三星電子也透露，HBM 產(chǎn)能已售罄。美光科技也在日前的財(cái)報(bào)電話會(huì)議上透露，其 HBM 產(chǎn)品已全部售罄，且 2025 年的大部分產(chǎn)能也已被預(yù)訂。

盡管 HBM 產(chǎn)能的緊張狀況日益凸顯，三大原廠也并未因此而減緩新技術(shù)開發(fā)的步伐，反而將 HBM4 的技術(shù)競賽推向了更高的熱度。

那么 HBM4 較 HBM3 有哪些不同？HBM4 又能給我們帶來哪些驚喜？HBM4 的推進(jìn)是否會(huì)影響 HBM3 未來產(chǎn)能開出？在此之前，先來了解一下 HBM4。

HBM4 亮點(diǎn)幾何？

據(jù)悉，自 2015 年以來，從 HBM1 到 HBM3e 各種更新和改進(jìn)中，HBM 在所有迭代中都保留了相同的 1024 位 (每個(gè)堆棧) 接口，即具有以相對(duì)適中的時(shí)鐘速度運(yùn)行的超寬接口。然而，隨著內(nèi)存?zhèn)鬏斔俾室蟛粩嗵岣?，尤其是?DRAM 單元的基礎(chǔ)物理原理沒有改變的情況下，這一速度將無法滿足未來 AI 場(chǎng)景下的數(shù)據(jù)傳輸要求。為此，下一代 HBM4 需要對(duì)高帶寬內(nèi)存技術(shù)進(jìn)行更實(shí)質(zhì)性的改變，即從更寬的 2048 位內(nèi)存接口開始。

接口寬度從每堆棧 1024 位增加到每堆棧 2048 位，為 HBM4 帶來突破性變革。采用 2048 位內(nèi)存接口，理論上也可以使傳輸速度再次翻倍。例如，英偉達(dá)的旗艦 Hopper H100 GPU，搭配的六顆 HBM3 達(dá)到 6144-bit 位寬。如果內(nèi)存接口翻倍到 2048 位，英偉達(dá)理論上可以將芯片數(shù)量減半到三個(gè)，并獲得相同的性能。

HBM4 在堆棧的層數(shù)上也有所變化，除了首批的 12 層垂直堆疊，預(yù)計(jì) 2027 年存儲(chǔ)器廠商還會(huì)帶來 16 層垂直堆疊。堆疊技術(shù)的進(jìn)步意味著在同一物理空間內(nèi)可以容納更多的內(nèi)存單元，從而顯著提高內(nèi)存容量和帶寬。這種高密度堆疊技術(shù)對(duì)于需要大容量和高速訪問的應(yīng)用來說是一個(gè)巨大的優(yōu)勢(shì)，特別是在數(shù)據(jù)中心和超級(jí)計(jì)算機(jī)中。作為對(duì)比，HBM3 的堆疊層數(shù)主要為 8 層/12 層。此外，HBM 還會(huì)往更為定制化的方向發(fā)展，不僅排列在 SoC 主芯片旁邊，部分還會(huì)轉(zhuǎn)向堆棧在 SoC 主芯片之上。

隨著技術(shù)的進(jìn)步，HBM4E 有望帶來更低的功耗。這將有助于減少系統(tǒng)能耗，降低發(fā)熱，延長設(shè)備的電池壽命。與此同時(shí)，HBM4E 內(nèi)存有望在各種領(lǐng)域得到應(yīng)用，包括人工智能、高性能計(jì)算、數(shù)據(jù)中心、圖形處理等領(lǐng)域，為這些領(lǐng)域帶來更高的性能和效率。

各存儲(chǔ)巨頭各展神通

SK 海力士：采用 MR-MUF 等先進(jìn)封裝技術(shù)、攜手臺(tái)積電

在技術(shù)層面，SK 海力士將繼續(xù)采用先進(jìn)的 MR-MUF 技術(shù)，從而實(shí)現(xiàn) 16 層堆疊。

在 MR-MUF（批量回流模制底部填充）中，批量回流焊（MR）是通過融化堆疊芯片之間的凸塊，讓芯片互相連接的技術(shù)。模塑底部填充（MUF）是在堆疊的芯片之間填充保護(hù)材料從而提高耐久性和散熱效果的技術(shù)。使用 MR-MUF，則可同時(shí)封裝多層 DRAM。

與此同時(shí) SK 海力士還致力于芯粒（Chiplet）及混合鍵合（Hybrid bonding）等下一代先進(jìn)封裝技術(shù)的開發(fā)，以支持半導(dǎo)體存儲(chǔ)器和邏輯芯片之間的異構(gòu)集成，同時(shí)促進(jìn)新型半導(dǎo)體的發(fā)展。

根據(jù) SK 海力士最新公布的信息顯示，HBM4 將比第五代 HBM3E 速度提升 40%，而耗電量僅為后者的 70%。

SK 海力士還計(jì)劃在 HBM4 基礎(chǔ)芯片上采用臺(tái)積電的先進(jìn)邏輯工藝，以便可以將附加功能封裝到有限的空間中。這也有助于 SK 海力士生產(chǎn)定制 HBM，滿足客戶對(duì)性能和功效的廣泛需求。SK 海力士和臺(tái)積電還同意合作優(yōu)化 SK 海力士的 HBM 和臺(tái)積電的 CoWoS（基板上晶圓芯片）技術(shù)的集成，同時(shí)合作響應(yīng)常見客戶與 HBM 相關(guān)的要求。

SK 海力士總裁兼 AI 基礎(chǔ)設(shè)施負(fù)責(zé)人 Justin Kim 表示：「我們希望與臺(tái)積電建立強(qiáng)有力的合作伙伴關(guān)系，以幫助加快我們與客戶的開放合作，并開發(fā)業(yè)界性能最佳的 HBM4?！?/span>

上個(gè)月，兩家公司簽署了諒解備忘錄。

三星：同步開發(fā)混合鍵合和傳統(tǒng)的 TC-NCF 工藝

三星電子在 HBM4 內(nèi)存鍵合技術(shù)方面采用兩條腿走路的策略，同步開發(fā)混合鍵合和傳統(tǒng)的 TC-NCF（thermal compression with non-conductive film 非導(dǎo)電薄膜熱壓縮）工藝。

混合鍵合技術(shù)作為一種新型的內(nèi)存鍵合方式，相較于傳統(tǒng)的鍵合工藝，具有顯著的優(yōu)勢(shì)。它摒棄了在 DRAM 內(nèi)存層間添加凸塊的繁瑣步驟，直接通過銅對(duì)銅的連接方式實(shí)現(xiàn)上下兩層的連接。這種創(chuàng)新的方式不僅提高了信號(hào)傳輸速率，更好地滿足了 AI 計(jì)算對(duì)高帶寬的迫切需求，同時(shí)也降低了 DRAM 層間距，使得 HBM 模塊的整體高度得到縮減。

混合鍵合技術(shù)的成熟度和應(yīng)用成本一直是業(yè)界關(guān)注的焦點(diǎn)。為了解決這一問題，三星電子在 HBM4 內(nèi)存鍵合技術(shù)方面采取了多元化的策略。除了積極推進(jìn)混合鍵合技術(shù)的研究與應(yīng)用，三星電子還同步開發(fā)傳統(tǒng)的 TC-NCF 工藝，以實(shí)現(xiàn)技術(shù)多樣化，降低風(fēng)險(xiǎn)，并提升整體競爭力。

從技術(shù)上看，TC-NCF 是一種與 MR-MUF 略有不同的技術(shù)。在每次堆疊芯片時(shí)，都會(huì)在各層之間放置一層不導(dǎo)電的粘合膜。該薄膜是一種聚合物材料，用于使芯片彼此絕緣并保護(hù)連接點(diǎn)免受撞擊。這種方法的優(yōu)點(diǎn)是可以最大限度地減少隨著層數(shù)增加和芯片厚度減小而可能發(fā)生的翹曲，使其更適合構(gòu)建更高的堆棧。

據(jù)悉，SK 海力士在第二代 HBM 之前也使用 NCF，但從第三代（HBM2E）開始改用 MUF（特別是 MR-MUF）。業(yè)內(nèi)人士認(rèn)為 MUF 是 SK 海力士能夠在 HBM 市場(chǎng)脫穎而出的原因。也正因此不少人士對(duì)三星的技術(shù)路線保持懷疑。

不過，三星副總裁 Kim Dae-woo 表示，在最多 8 個(gè)堆疊時(shí)，MR-MUF 的生產(chǎn)效率比 TC-NCF 更高，但一旦堆疊達(dá)到 12 個(gè)或以上，后者將具有更多優(yōu)勢(shì)。該副總裁還指出，當(dāng) HBM4 推出時(shí)，定制請(qǐng)求預(yù)計(jì)會(huì)增加。

美光：HBMnext 或出奇招

在 HBM 芯片上，美光科技也加快了追趕兩家韓國存儲(chǔ)巨頭的步伐。不過在技術(shù)細(xì)節(jié)上，美光并未公布太多信息。

關(guān)于未來的布局，美光披露了暫名為 HBMnext 的下一代 HBM 內(nèi)存，業(yè)界猜測(cè)這有可能便是其 HBM 4。美光預(yù)計(jì) HBMNext 將提供 36 GB 和 64 GB 容量，這意味著多種配置，例如 12-Hi 24 Gb 堆棧 (36 GB) 或 16-Hi 32 Gb 堆棧 (64 GB)。至于性能，美光宣稱每個(gè)堆棧的帶寬為 1.5 TB/s–2+TB/s，這意味著數(shù)據(jù)傳輸速率超過 11.5 GT/s/pin。

與三星和 SK 海力士不同，美光似乎并不打算把 HBM 和邏輯芯片整合到一個(gè)芯片中，在下一代 HBM 產(chǎn)品發(fā)展上，美光或許想要通過 HBM-GPU 的組合芯片形式以獲得更快的內(nèi)存訪問速度。不過美媒表示，隨著機(jī)器學(xué)習(xí)訓(xùn)練模型的增大和訓(xùn)練時(shí)間的延長，通過加快內(nèi)存訪問速度和提高每個(gè) GPU 內(nèi)存容量來縮短運(yùn)行時(shí)間的壓力也將隨之增加，而為了獲得鎖定 HBM-GPU 組合芯片設(shè)計(jì)（盡管具有更好的速度和容量）而放棄標(biāo)準(zhǔn)化 DRAM 的競爭供應(yīng)優(yōu)勢(shì)，可能不是正確的前進(jìn)方式。

三大原廠的 HBM4 量產(chǎn)時(shí)間

關(guān)于量產(chǎn)時(shí)間，SK 海力士在 5 月舉行的記者招待會(huì)上表示，其 HBM4 內(nèi)存的量產(chǎn)時(shí)間已提前到 2025 年。具體來說，SK 海力士計(jì)劃在 2025 年下半年推出采用 12 層 DRAM 堆疊的首批 HBM4 產(chǎn)品，而 16 層堆疊 HBM 稍晚于 2026 年推出。

據(jù)三星的規(guī)劃，HBM 4 將在 2025 年生產(chǎn)樣品，2026 年量產(chǎn)。美光預(yù)計(jì)將在 2026 年推出 12 和 16 層堆疊的 HBM4，帶寬超過 1.5TB/ s；到 2027~2028 年，還將發(fā)布 12 層和 16 層堆疊的 HBM4E，帶寬可達(dá) 2TB/s 以上。

如果按照當(dāng)前各家的計(jì)劃推進(jìn)，那么 SK 海力士將先人一步。

臺(tái)積電也在為 HBM4 蓄力

除此之外，臺(tái)積電也在積極開發(fā)與優(yōu)化其封裝技術(shù)，以支持 HBM4 的集成。

在今年 4 月的北美技術(shù)研討會(huì)上，臺(tái)積電推出了下一代晶圓系統(tǒng)平臺(tái)——CoW-SoW——該平臺(tái)將實(shí)現(xiàn)與晶圓級(jí)設(shè)計(jì)的 3D 集成。該技術(shù)建立在臺(tái)積電 2020 年推出的 InFO_SoW 晶圓級(jí)系統(tǒng)集成技術(shù)的基礎(chǔ)上，該技術(shù)使其能夠構(gòu)建晶圓級(jí)邏輯處理器。
據(jù)了解，臺(tái)積電的 CoW-SoW 專注于將晶圓級(jí)處理器與 HBM4 內(nèi)存集成。下一代內(nèi)存堆棧將采用 2048 位接口，這使得將 HBM4 直接集成在邏輯芯片頂部成為可能。同時(shí)，在晶圓級(jí)處理器上堆疊額外的邏輯以優(yōu)化成本也可能是有意義的。

隨后在 5 月中旬的 2024 年歐洲技術(shù)研討會(huì)上，臺(tái)積電表示，將使用其 12FFC+（12nm 級(jí)）和 N5（5nm 級(jí)）制程工藝制造 HBM4 芯片。

臺(tái)積電設(shè)計(jì)與技術(shù)平臺(tái)高級(jí)總監(jiān)表示：「我們正在與主要的 HBM 內(nèi)存合作伙伴（美光、三星、SK 海力士）合作，開發(fā) HBM4 全棧集成的先進(jìn)制程，N5 制程可以使 HBM4 以更低的功耗提供更多的邏輯功能。」

N5 制程允許將更多的邏輯功能封裝到 HBM4 中，并實(shí)現(xiàn)非常精細(xì)的互連間距，這對(duì)于邏輯芯片上的直接鍵合至關(guān)重要，可以提高 AI 和 HPC 處理器的內(nèi)存性能。

相對(duì)于 N5，臺(tái)積電的 12FFC+工藝（源自該公司的 16nm FinFET 技術(shù)）更加經(jīng)濟(jì)，制造的基礎(chǔ)芯片能構(gòu)建 12 層和 16 層的 HBM4 內(nèi)存堆棧，分別提供 48GB 和 64GB 的容量。

臺(tái)積電還在優(yōu)化封裝技術(shù)，特別是 CoWoS-L 和 CoWoS-R，以支持 HBM4 集成。這些先進(jìn)的封裝技術(shù)有助于組裝多達(dá) 12 層的 HBM4 內(nèi)存堆棧。新的轉(zhuǎn)接板能確保 2000 多個(gè)互連的高效路由，同時(shí)保持信號(hào)完整性。據(jù)臺(tái)積電介紹，到目前為止，實(shí)驗(yàn)性 HBM4 內(nèi)存在 14mA 時(shí)的數(shù)據(jù)傳輸速率已達(dá)到 6 GT/s。

臺(tái)積電還在與 Cadence、Synopsys 和 Ansys 等 EDA 公司合作，對(duì) HBM4 通道信號(hào)完整性、IR/EM 和熱精度進(jìn)行認(rèn)證。

那么，關(guān)于 HBM4 未來的研發(fā)進(jìn)度，我們是否應(yīng)擔(dān)憂它會(huì)侵占 HBM3 的產(chǎn)能呢？畢竟，HBM3 當(dāng)前的產(chǎn)能狀況已經(jīng)相當(dāng)緊張。

HBM4 是否會(huì)擠壓 HBM3 的產(chǎn)能？

眾所周知，HBM3 市場(chǎng)的主要競爭者也只有 SK 海力士、三星和美光三大家。

各家 HBM3 系列產(chǎn)品量產(chǎn)進(jìn)度

據(jù)悉，美光、SK 海力士和三星先后在去年 7 月底、8 月中旬、以及 10 月初向英偉達(dá)提供了 8 層垂直堆疊的 HBM3E（24GB）樣品。其中美光和 SK 海力士的 HBM3E 在今年初已通過英偉達(dá)的驗(yàn)證，并獲得了訂單。

今年 3 月 SK 海力士宣布，公司將超高性能用于 AI 的存儲(chǔ)器新產(chǎn)品 HBM3E 率先成功量產(chǎn)，從 3 月末開始向客戶供貨。美光也宣布已開始批量生產(chǎn)其 HBM3E 解決方案，其首款 24GB 8H HBM3E 產(chǎn)品將會(huì)用于 NVIDIA H200 GPU，將于 2024 年第二季度開始發(fā)貨。

不過近日，據(jù) DigiTimes 報(bào)道，三星 HBM3E 尚未通過英偉達(dá)的測(cè)試，仍需要進(jìn)一步驗(yàn)證。據(jù)了解，三星至今未能通過英偉達(dá)驗(yàn)證主要卡在臺(tái)積電的審批環(huán)節(jié)。作為英偉達(dá)數(shù)據(jù)中心 GPU 的制造和封裝廠，臺(tái)積電也是英偉達(dá)驗(yàn)證環(huán)節(jié)的重要參與者，傳聞采用的是基于 SK 海力士 HBM3E 產(chǎn)品設(shè)定的檢測(cè)標(biāo)準(zhǔn)，而三星的 HBM3E 產(chǎn)品在制造工藝上有些許差異，比如 SK 海力士采用了 MR-RUF 技術(shù)，三星則是 TC-NCF 技術(shù)，這多少會(huì)對(duì)一些參數(shù)有所影響。

不過，5 月 24 日，三星否認(rèn)了有關(guān)其高帶寬內(nèi)存芯片尚未通過英偉達(dá)的測(cè)試以用于這家美國芯片巨頭的人工智能處理器的報(bào)道。

三星表示，其與全球各合作伙伴的 HBM 供應(yīng)測(cè)試正在「順利」進(jìn)展。

三星在上個(gè)月發(fā)布的 2024 年第一季度財(cái)報(bào)中表示，8 層垂直堆疊的 HBM3E 已經(jīng)在 4 月量產(chǎn)，并計(jì)劃在第二季度內(nèi)量產(chǎn) 12 層垂直堆疊的 HBM3E，比原計(jì)劃里的下半年提前了。按照三星的說法，這是為了更好地應(yīng)對(duì)生成式 AI 日益增長的需求，所以選擇加快了新款 HBM 產(chǎn)品的項(xiàng)目進(jìn)度。

HBM 的供應(yīng)緊張局面，主要是來自于英偉達(dá)、AMD 等芯片巨頭對(duì)于 HPC 和 GPU 的強(qiáng)勁需求。在此背景下，各大存儲(chǔ)龍頭紛紛掏出重金推進(jìn) HBM 擴(kuò)產(chǎn)計(jì)劃。

擴(kuò)產(chǎn)動(dòng)作頻頻

SK 海力士在今年 4 月宣布，計(jì)劃擴(kuò)大包括 HBM 在內(nèi)的下一代 DRAM 的產(chǎn)能，以應(yīng)對(duì)快速增長的 AI 需求。公司將投資約 5.3 萬億韓元（約 279.84 億人民幣）建設(shè) M15X 晶圓廠，作為新的 DRAM 生產(chǎn)基地。該公司計(jì)劃于 4 月底開工建設(shè)，目標(biāo)于 2025 年 11 月竣工并盡早量產(chǎn)。隨著設(shè)備投資計(jì)劃逐步增加，新生產(chǎn)基地建設(shè)總投資長期將超過 20 萬億韓元。

值得注意的是，在此前的一次電話會(huì)議中，SK 海力士表示，將擴(kuò)大 HBE 生產(chǎn)設(shè)施投資，對(duì)通過硅通孔（TSV）相關(guān)的設(shè)施投資將比 2023 年增加一倍以上，力圖將產(chǎn)能翻倍。

近日，SK 海力士產(chǎn)量主管 Kwon Jae-soon 表示，該企業(yè)的 HBM3E 內(nèi)存良率已接近 80%。此外，Kwon Jae-soon 也提到，SK 海力士目前已將 HBM3E 的生產(chǎn)周期減少了 50%。更短的生產(chǎn)用時(shí)意味著更高的生產(chǎn)效率，可為英偉達(dá)等下游客戶提供更充足的供應(yīng)。這位高管再次確認(rèn) SK 海力士今年的主要重點(diǎn)是生產(chǎn) 8 層堆疊的 HBM3E，因?yàn)樵撘?guī)格目前是客戶需求的核心。

三星執(zhí)行副總裁兼 DRAM 產(chǎn)品與技術(shù)部負(fù)責(zé)人 Hwang Sang-joong 在加州圣何塞舉行的「Memcon 2024」會(huì)議上透露了三星的產(chǎn)能擴(kuò)增計(jì)劃。Hwang 表示，三星預(yù)計(jì)今年的 HBM 芯片產(chǎn)量將比去年增長 2.9 倍，這一數(shù)字甚至高于三星早些時(shí)候在 CES 2024 上所預(yù)測(cè)的 2.4 倍的增長。此外，三星還公布了其 HBM 技術(shù)藍(lán)圖，預(yù)測(cè)到 2026 年，其 HBM 的出貨量將比 2023 年高出 13.8 倍，而到了 2028 年，這一數(shù)字將進(jìn)一步攀升至 2023 年的 23.1 倍
為了滿足 HBM 領(lǐng)域的旺盛需求，美光也小幅上調(diào)了本財(cái)年的資本支出預(yù)算，由原計(jì)劃的 75~80 億美元調(diào)整為 80 億美元。美光預(yù)計(jì)，未來幾年內(nèi)，其 HBM 內(nèi)存位元產(chǎn)能的年均增長率將達(dá)到 50%。

產(chǎn)能何時(shí)開出？HBM4 是否沖突 HBM3？

觀察發(fā)現(xiàn)，存儲(chǔ)三巨頭的新一代 HBM4 的推出時(shí)間預(yù)計(jì)最早將落在 2025 年下半年，而全面步入批量生產(chǎn)的步伐可能需等待至 2026 年。再細(xì)觀各家新產(chǎn)能的籌備情況，SK 海力士的新工廠預(yù)計(jì)將在 2025 年 11 月竣工，若竣工后立即投入生產(chǎn)，新產(chǎn)能的啟動(dòng)亦將緊隨其后，預(yù)計(jì)在 2025 年底。

三星預(yù)測(cè)，到 2026 年，其 HBM 的出貨量將較 2023 年激增 13.8 倍。而美光科技雖在行動(dòng)上稍顯穩(wěn)健，但從前兩家公司的產(chǎn)能擴(kuò)展態(tài)勢(shì)來看，屆時(shí) HBM 的產(chǎn)能緊張問題或許已得到緩解，HBM4 的量產(chǎn)時(shí)機(jī)與新產(chǎn)能的啟動(dòng)有望相互呼應(yīng)。

然而，考慮到新產(chǎn)品上市所需的適配周期和良率提升過程，以及部分訂單從 HBM3 向 HBM4 的遷移，HBM4 的推進(jìn)在短期內(nèi)對(duì) HBM3 的市場(chǎng)影響或許不會(huì)過于顯著。