臺積電董事長劉德音預測：未來 15 年每瓦 GPU 性能提升 1000 倍，GPU 晶體管數破萬億

GTC 2024 大會上，老黃祭出世界最強 GPU——Blackwell B200 ，整整封裝了超 2080 億個晶體管。

比起上一代 H100（800 億），B200 晶體管數是其 2 倍多，而且訓 AI 性能直接飆升 5 倍，運行速度提升 30 倍。

若是，將千億級別晶體管數擴展到 1 萬億，對 AI 界意味著什么？

今天，IEEE 的頭版刊登了臺積電董事長和首席科學家撰寫的文章 ——「我們如何實現 1 萬億個晶體管 GPU」？

這篇千字長文，主打就是為了讓 AI 界人們意識到，半導體技術的突破給 AI 技術帶來的貢獻。

從 1997 年戰(zhàn)勝國際象棋人類冠軍的「深藍」，到 2023 年爆火的 ChatGPT，25 年來 AI 已經從實驗室中的研究項目，被塞入每個人的手機。

這一切都要歸功于，3 個層面的重大突破：ML 算法創(chuàng)新、海量數據，以及半導體工藝的進步。

臺積電預測，在未來 10 年，GPU 集成的晶體管數將達到 1 萬億！與此同時，未來 15 年，每瓦 GPU 性能將提高 1000 倍。

半導體工藝不斷演變，才誕生了 ChatGPT

從軟件和算法到架構、電路設計乃至器件技術，每一層系統(tǒng)都極大地提升了 AI 的性能。但是基礎的晶體管器件技術的不斷提升，才讓這一切成為可能：

IBM 訓練「深藍」使用的芯片工藝是 0.6 微米和 0.35 微米。

Ilya 團隊訓練贏得 ImageNet 大賽的深度神經網絡采用的 40 納米工藝。

2016 年，DeepMind 訓出的 AlphaGo 戰(zhàn)勝了李世石，使用了 28 納米工藝。

而訓練 ChatGPT 的芯片基于的是 5 納米工藝，而最新版的 ChatGPT 推理服務器的芯片工藝已經達到了 4 納米。

可以看出，從 1997 年到現在，半導體工藝節(jié)點取得的進步，推動了如今 AI 飛躍式的發(fā)展。

如果 AI 革命想要繼續(xù)保持當前的發(fā)展速度，那么它更需要半導體行業(yè)的創(chuàng)新和支持。

如果仔細研究 AI 對于算力的要求會發(fā)現，最近 5 年，AI 訓練所需的計算和內存訪問量增長了好幾個數量級。

以 GPT-3 為例，它的訓練需要的計算量相當于每秒進行超過 5 千萬億億次的運算，持續(xù)整整一天（相當于 5000 千兆浮點運算天數），同時需要 3TB（3 萬億字節(jié)）的內存容量。

隨著新一代生成式 AI 應用的出現，對計算能力和內存訪問的需求仍在迅速增加。

這就帶來了一個迫在眉睫的問題：半導體技術如何才能跟上這種發(fā)展的速度？

從集成芯片到集成芯片組

自從集成電路誕生以來，半導體行業(yè)一直在想辦法把芯片造得更小，這樣才能在一個指甲蓋大小的芯片中集成更多的晶體管。

如今，晶體管的集成工藝和封裝的技術已經邁向更高層次 —— 行業(yè)已經從 2D 空間的縮放，向 3D 系統(tǒng)集成邁進。

芯片行業(yè)正在將多個芯片整合到一個集成度更高、高度互連的系統(tǒng)中，這標志著半導體集成技術的巨大飛躍。

AI 的時代，芯片制造的一個瓶頸在于，光刻芯片制造工具只能制造面積不超過大約 800 平方毫米的芯片，這就是所謂的光刻極限。

但現在，臺積電可以通過將多個芯片連接在一塊內嵌互連線路的硅片上來突破這一極限，實現在單一芯片上無法達到的大規(guī)模集成。

舉個例子，臺積電的 CoWoS 技術能夠將多達 6 個光刻極限范圍內的芯片，以及十二個高帶寬內存（HBM）芯片封裝在一起。

高帶寬內存（HBM）是 AI 領域越來越依賴的一項關鍵半導體技術，它通過將芯片垂直堆疊的方式來集成系統(tǒng)，這一技術在臺積電被稱為系統(tǒng)集成芯片（SoIC）。

HBM 由多層 DRAM 芯片垂直堆疊而成，他們都位于一個控制邏輯 IC 之上。它利用硅穿孔（TSV）這種垂直連接方式讓信號穿過每層芯片，并通過焊球來連接各個內存芯片。

目前，最先進的 GPU 都非常依賴 HBM 技術。

未來，3D SoIC 技術將提供一種新的解決方案，與現有的 HBM 技術相比，它能在堆疊芯片之間實現更密集的垂直連接。

通過最新的混合鍵合技術，可以將 12 層芯片堆疊起來，從而開發(fā)出全新的 HBM 結構，這種銅對銅（copper-to-copper）的連接方式比傳統(tǒng)的焊球連接更為緊密。

論文地址：https://ieeexplore.ieee.org/document/9265044

這種內存系統(tǒng)在一個更大的基礎邏輯芯片上以低溫鍵合，整體厚度僅為 600 微米。

隨著由眾多芯片組成的高性能計算系統(tǒng)運行大型 AI 模型，高速有線通信可能成為計算速度的下一個瓶頸。

目前，數據中心已經開始使用光互連技術連接服務器架。

文章地址：https://spectrum.ieee.org/optical-interconnects

不久的將來，臺積電將需要基于硅光子技術的光接口，把 GPU 和 CPU 封裝到一起。

論文地址：https://ieeexplore.ieee.org/document/10195595

這樣才能實現 GPU 之間的光通信，提高帶寬的能源和面積效率，從而讓數百臺服務器能夠像一個擁有統(tǒng)一內存的巨型 GPU 那樣的方式高效運行。

所以，由于 AI 應用的推動，硅光子技術將成為半導體行業(yè)中最為關鍵的技術之一。

邁向一萬億晶體管 GPU

當前用于 AI 訓練的 GPU 芯片，約有 1000 億的晶體管，已經達到了光刻機處理的極限。若想繼續(xù)增加晶體管數量，就需要采用多芯片，并通過 2.5D、3D 技術進行集成，來完成計算任務。

目前，已有的 CoWoS 或 SoIC 等先進封裝技術，可以在 GPU 中集成更多晶體管。

臺積電預計，在未來十年內，采用多芯片封裝技術的單個 GPU，將擁有超 1 萬億晶體管。

此同時，還需要將這些芯片通過 3D 堆疊技術連接起來。但幸運的是，半導體行業(yè)已經能夠大幅度縮小垂直連接的間距，從而增加了連接密度。

而且，未來在提高連接密度方面還有巨大的潛力。臺積電認為，連接密度增長一個數量級，甚至更多是完全有可能的。

▲ 3D 芯片中的垂直連接密度的增長速度與 GPU 中的晶體管數量大致相同

GPU 的能效性能趨勢

那么，這些領先的硬件技術，是如何提升系統(tǒng)整體性能的呢？

通過觀察服務器 GPU 的發(fā)展，可以明顯看到一個趨勢：所謂的能效性能（EEP）—— 一個反映系統(tǒng)能效和運行速度的綜合指標 —— 正穩(wěn)步提升。

過去 15 年中，半導體行業(yè)已經實現了，每兩年將 EEP 提高約 3 倍的壯舉。

而在臺積電看來，這種增長趨勢將會延續(xù)，將會得益于眾多方面的創(chuàng)新，包括新型材料的應用、設備與集成技術的進步、EUV 技術的突破、電路設計的優(yōu)化、系統(tǒng)架構的革新，以及對所有這些技術要素進行的綜合優(yōu)化等因素的共同推動。

此外，系統(tǒng)技術協(xié)同優(yōu)化（STCO）這一概念將變得日益重要。

在 STCO 中，GPU 內不同的功能模塊將被分配到專屬的小芯片（chiplets）上，每個模塊都采用最適合其性能和成本效益的技術進行打造。

這種針對每個部件的最優(yōu)化選擇，將對提高整體性能和降低成本發(fā)揮關鍵作用。

▲ 得益于半導體技術的進步，EEP 指標有望每兩年提升 3 倍

3D 集成電路的革命性時刻

1978 年，加州理工學院的 Carver Mead 教授和 Xerox PARC 的 Lynn Conway，共同開發(fā)了一種革命性的計算機輔助設計方法。

他們制定了一系列設計規(guī)則，簡化了芯片設計的過程，讓工程師即使不深諳過程技術，也能輕松設計出復雜的大規(guī)模集成電路。

論文地址：https://ai.eecs.umich.edu/people/conway/VLSI/VLSIText/PP-V2/V2.pdf

而在 3D 芯片設計領域，也面臨著類似的需求。

• 設計師不僅要精通芯片和系統(tǒng)架構設計，還需要掌握硬件與軟件優(yōu)化的知識。

• 而制造商則需要深入了解芯片技術、3D 集成電路技術和先進封裝技術。

就像 1978 年那樣，我們需要一種共通語言，讓電子設計工具能夠理解這些技術。

如今，一種全新的硬件描述語言 ——3Dblox，已經得到了當下多數技術和電子設計自動化公司的支持。

它賦予了設計師自由設計 3D 集成電路系統(tǒng)的能力，且無需擔心底層技術的限制。

走出隧道，迎接未來

在人工智能的大潮中，半導體技術成為了推動 AI 和應用發(fā)展的關鍵力量。

新一代 GPU 已經打破了傳統(tǒng)的尺寸和形狀限制。半導體技術的發(fā)展，也不再局限于僅在二維平面上縮小晶體管。

一個 AI 系統(tǒng)可以集成盡可能多的節(jié)能晶體管，擁有針對特定計算任務優(yōu)化的高效系統(tǒng)架構，以及軟硬件之間的優(yōu)化關系。

過去 50 年，半導體技術的進步就像是在一條明確的隧道中前進，每個人都清楚下一步應該怎么做：不斷縮小晶體管的尺寸。

現在，我們已經走到了這條隧道的盡頭。未來的半導體技術開發(fā)將面臨更多挑戰(zhàn)，但同時，隧道外也有著更加廣闊的可能性。

而我們將不再被過去的限制所束縛。