自2022年11月Open AI發(fā)布ChatGPT以來，生成式AI（人工智能）需求在全球爆發(fā)式增長。這一系列AI應(yīng)用運行在配備有NVIDIA GPU等AI半導(dǎo)體的AI服務(wù)器上。

不過，根據(jù)中國臺灣研究公司TrendForce在 2023年12月14日的預(yù)測，AI服務(wù)器出貨量增幅不會如預(yù)期。預(yù)計2022年AI服務(wù)器僅占所有服務(wù)器出貨量的6%，2023年為9%，2024年為13%，2025年為14%，2026年為16%。（圖1）。

圖1.服務(wù)器出貨數(shù)量、AI服務(wù)器占比、AI芯片晶圓占比。來源：TrendForce

其原因被認(rèn)為是人工智能半導(dǎo)體的限速供應(yīng)。目前，NVIDIA的GPU壟斷了約80%的AI半導(dǎo)體，制造在臺積電進(jìn)行。在后續(xù)的流程中，會利用CoWoS進(jìn)行封裝，但是CoWoS的產(chǎn)量目前是一個瓶頸。

另外，在CoWoS中，GPU周圍放置了多個HBM（高帶寬內(nèi)存），這些HBM是堆疊的DRAM，這個HBM也被認(rèn)為是瓶頸之一。

那么，為什么臺積電的CoWoS（Chip on Wafer on Substrate）產(chǎn)能持續(xù)不足呢？另外，雖然有三星電子、SK海力士、美光科技三大DRAM廠商，但為什么HBM也不夠呢？

本文討論了這些細(xì)節(jié)。NVIDIA GPU 等 AI 半導(dǎo)體的短缺預(yù)計將持續(xù)數(shù)年或更長時間。

臺積電的制造流程是什么？

圖 2顯示了 NVIDIA 的 GPU 是如何在臺積電制造的。首先，在預(yù)處理中，分別創(chuàng)建GPU、CPU、內(nèi)存（DRAM）等。這里，由于臺積電不生產(chǎn)DRAM，因此似乎是從SK海力士等DRAM制造商那里獲得HBM。

圖2.2.5D 到 3D 中出現(xiàn)的制造工藝。來源：Tadashi Kamewada

接下來，將GPU、CPU、HBM等粘合到“硅中介層”上（Chip on Wafer，或CoW）。硅中介層具有預(yù)先形成的布線層和硅通孔(TSV)以連接芯片。

這一步驟完成后，將中介層貼到基板上（Wafer on Substrate，簡稱WoS），進(jìn)行各種測試，CoWoS封裝就完成了。

圖3顯示了CoWoS的橫截面結(jié)構(gòu)。兩個邏輯芯片（例如 GPU 和 CPU）以及具有堆疊式 DRAM 的 HBM 被粘合到硅中介層上，硅中介層上形成有布線層和 TSV。中介層通過與銅凸塊連接到封裝基板，并且該基板通過封裝球連接到電路板。

圖3.CoWoS結(jié)構(gòu)和NVIDIA GPU等AI半導(dǎo)體的兩個瓶頸。來源：WikiChip

在這里，我們認(rèn)為第一個瓶頸是硅中介層，第二個瓶頸是HBM，這是導(dǎo)致NVIDIA GPU短缺的原因。

硅中介層尺寸變得巨大

圖 4 顯示了自 2011 年以來 CoWoS 的換代情況。首先，我們可以看到，每一代的硅中介層都變得巨大。此外，安裝的 HBM 數(shù)量也在不斷增加。

圖4.每代HBM的轉(zhuǎn)接層面積和安裝數(shù)量增加。來源：臺積電

圖 5 顯示了從 CoWoS Gen 1 到 Gen 6 的 12 英寸晶圓中安裝的 Logic 芯片類型、HBM 標(biāo)準(zhǔn)和安裝數(shù)量、硅中介層面積以及可獲得的中介層數(shù)量。

圖5. CoWoS 代次、HBM 安裝數(shù)量、12 英寸晶圓轉(zhuǎn)接層數(shù)量。

可以看出，自第三代以來，HBM的安裝數(shù)量持續(xù)增長了1.5倍。此外，HBM 的標(biāo)準(zhǔn)也發(fā)生了變化，性能也得到了提高。此外，隨著中介層面積的增加，可以從 12 英寸晶圓獲得的中介層數(shù)量減少。

然而，這個采集數(shù)只是“將12英寸晶圓的面積除以中介層的面積得到的值”，實際的采集次數(shù)要小得多。

2023 年發(fā)布的第 6 代 CoWoS 中介層的面積為 3400 mm2，但如果我們假設(shè)它是一個正方形，它將是 58 mm × 58 mm。如果將其放置在 12 英寸晶圓上，晶圓邊緣上的所有中介層都將有缺陷。然后，一個58 mm × 58 mm中介層最多只能從 12 英寸晶圓上獲取 9 個。

圖6. 12英寸晶圓能獲得多少個中介層。來源：Tadashi Kamewada

此外，在中介層上形成布線層和TSV，但良率約為60~70%，因此從12英寸晶圓上可以獲得的良好中介層數(shù)量最多為6個。

使用這款中介層制作的 CoWoS 的代表性 GPU 是 NVIDIA 的“H100”，它在市場上競爭激烈，交易價格高達(dá) 40,000 美元。

臺積電的CoWoS產(chǎn)能不足

那么，臺積電的CoWoS制造產(chǎn)能有多大呢？

在 2023 年 11 月 14 日舉行的 DIGITIMES 研討會“生成式 AI 浪潮中 2024 年全球服務(wù)器市場的機遇與挑戰(zhàn)”中顯示，2023 年第二季度的產(chǎn)能為每月 13K~15K 件。據(jù)預(yù)測，2024 年第二季度月產(chǎn)量將翻倍至 30K~34K，從而縮小 NVIDIA GPU 的供需缺口。

然而，這種前景還很遙遠(yuǎn)。這是因為，截至 2024 年 4 月，NVIDIA 仍然沒有足夠的 GPU。而TrendForce集邦咨詢在4月16日的新聞中表示，到2024年底，臺積電的CoWoS產(chǎn)能將達(dá)到每月40K左右，到2025年底將翻倍。

此外，TrendForce集邦咨詢報道稱，NVIDIA將發(fā)布B100和B200，但這些轉(zhuǎn)接板可能比 58 mm × 58 mm還要大。這意味著從12英寸晶圓上可以獲得的優(yōu)質(zhì)中介層的數(shù)量將進(jìn)一步減少，因此即使臺積電拼命嘗試增加CoWoS產(chǎn)能，也無法生產(chǎn)足夠的GPU來滿足需求。

這款GPU CoWoS中介層的巨大和臺積電產(chǎn)能的增加，無論走多遠(yuǎn)都沒有止境。

有人建議使用515×510mm棱柱形有機基板代替12英寸晶圓作為中介層。此外，美國的英特爾公司還提議使用矩形玻璃基板。當(dāng)然，如果可以使用大型矩形基板，則可以比圓形12英寸晶圓更有效地獲得大量中介層。

然而，為了在矩形基板上形成布線層和TSV，需要專用的制造設(shè)備和傳輸系統(tǒng)。考慮到這些的準(zhǔn)備工作，這需要時間和金錢。接下來解釋一下HBM的情況，這是另一個瓶頸。

HBM 的路線圖

如圖 4 和圖 5 所示，HBM 的數(shù)量隨著 CoWoS 的產(chǎn)生而增加，這也導(dǎo)致了中介層的巨大。DRAM制造商不應(yīng)繼續(xù)制造相同標(biāo)準(zhǔn)的HBM。隨著 CoWoS 的發(fā)展，HBM 的各種性能需要改進(jìn)。HBM 的路線圖如圖 7 所示。

圖 7.HBM 路線圖和 HBM 堆疊的 DRAM 數(shù)量。來源：DIGITIMES Research

首先，HBM 必須提高每秒交換數(shù)據(jù)的帶寬，以配合 GPU 性能的提高。具體來說，2016 年 HBM1 的帶寬為 128 GB/s，而 HBM3E 的帶寬將擴大約 10 倍，達(dá)到 1150 GB/s，將于 2024 年發(fā)布。

接下來，HBM 的內(nèi)存容量 （GB） 必須增加。為此，有必要將堆疊在 HBM 中的 DRAM 芯片數(shù)量從 4 個增加到 12 個。下一代 HBM4 的 DRAM 層數(shù)預(yù)計將達(dá)到 16 層。

此外，HBM 的 I/O 速度 （GB/s） 也必須提高。為了同時實現(xiàn)所有這些目標(biāo)，我們必須不惜一切代價實現(xiàn)DRAM的小型化。圖8顯示了按技術(shù)節(jié)點劃分的DRAM銷售比例的變化。2024 年將是從 1z （15.6 nm） 切換到 1α （13.8 nm） 的一年。之后，小型化將以 1 nm 的增量進(jìn)行，例如 1β （12.3 nm）、1γ （11.2 nm） 和 1δ （10 nm）。

圖8.按技術(shù)節(jié)點劃分的DRAM銷售額百分比 。來源：Yole Intelligence

請注意，括號中的數(shù)字是該代DRAM芯片中實際存在的最小加工尺寸。

EUV也開始應(yīng)用于DRAM

DRAM制造商必須以1nm的增量進(jìn)行小型化，以實現(xiàn)高集成度和速度。因此，EUV（極紫外）光刻技術(shù)已開始應(yīng)用于精細(xì)圖案的形成（圖9）。

圖9.DRAM廠商應(yīng)用的EUV層數(shù)。來源：Yole Intelligence

最早在 DRAM 中使用 EUV 的公司是三星，在 1z 代中僅應(yīng)用了一層。不過，這只是借用了三星邏輯代工廠的一條每月最大產(chǎn)量為 10,000 片晶圓的巨大 DRAM 生產(chǎn)線來實踐 EUV 應(yīng)用。因此，從真正意義上講，三星只是從 1α 年開始在 DRAM 中使用 EUV，當(dāng)時它在五層 DRAM 中使用了 EUV。

其次是在 HBM 領(lǐng)域市場份額第一的 SK hynix，它在 1α 生產(chǎn)時應(yīng)用了 EUV。該公司計劃在 2024 年轉(zhuǎn)向 1β，并有可能在三到四層應(yīng)用 EUV。因此，迄今只有幾個 EUV 單元的 SK hynix 將在 2024 年之前推出 10 個 EUV 單元。同樣擁有邏輯代工廠的三星公司被認(rèn)為將擁有超過 30 個 EUV 單元。

最后，美光公司一直奉行盡可能少使用 EUV 的戰(zhàn)略，以便比其他任何地方都更快地推進(jìn)其技術(shù)節(jié)點。事實上，美光在 1 β 之前都不使用 EUV。在開發(fā)過程中，它還計劃在 1 γ 時不使用 EUV，而是使用 ArF 沉浸 + 多圖案技術(shù)，但由于它發(fā)現(xiàn)很難提高產(chǎn)量，因為沒有更多的匹配空間，因此預(yù)計將從 1 γ 開始引入 EUV。

這三家 DRAM 制造商目前正在嘗試使用鏡頭孔徑為 NA = 0.33 的 EUV，但據(jù)認(rèn)為，它們正在考慮從 2027-2028 年起改用高 NA。因此，DRAM 制造商的微型化進(jìn)程仍將越走越遠(yuǎn)。

現(xiàn)在，有多少 HBM 將采用這些最先進(jìn)的工藝生產(chǎn)？

DRAM 出貨量和 HBM 出貨量

圖 10 顯示了 DRAM 出貨量、HBM 出貨量以及 HBM 占 DRAM 出貨量的百分比。如本節(jié)開頭所述，ChatGPT 于 2022 年 11 月發(fā)布，從而使英偉達(dá)公司的 GPU 在 2023 年取得重大突破。

圖10.DRAM 出貨量、HBM 出貨量和 HBM 所占百分比。來源：Yole Intelligence

與此同時，HBM 的出貨量也迅速增長：HBM 的出貨量從 2022 年的 27.5 億美元（3.4%）增長到 2023 年的 54.5 億美元（10.7%），幾乎翻了一番，到 2024 年更是翻了一番，達(dá)到 140.6 億美元（19.4%）。

從 DRAM 的出貨量來看，2021 年由于對 Corona 的特殊需求而達(dá)到高峰，但 2023 年這種特殊需求結(jié)束后，出貨量急劇下降。此后，出貨量有望恢復(fù)，并在 2025 年超過 2021 年的峰值。此外，從 2026 年起，出貨量預(yù)計將繼續(xù)增長，盡管會有一些起伏，到 2029 年將超過 1500 億美元。

另一方面，HBM 的出貨量預(yù)計將在 2025 年后繼續(xù)增長，但 HBM 在 DRAM 出貨量中所占的份額將在 2027 年后達(dá)到 24-25% 的飽和狀態(tài)。這是為什么呢？

各種 HBM 的發(fā)貨數(shù)量和 HBM 發(fā)貨總量

如圖 11 所示，通過觀察各種 HBM 的出貨量和 HBM 的總出貨量，可以揭開謎底。

圖11.各種 HBM 和所有 HBM 的出貨量。來源：Yole Intelligence

首先，在 2022 年之前，HBM2 是主要的出貨量。其次，2023 年，英偉達(dá)的 GPU 取得重大突破，HBM2E 取代 HBM2 成為主流。此外，HBM3 將在今年 2024 至 2025 年間成為主流。2026-2027 年，HBM3E 將成為出貨量最大的產(chǎn)品，而從 2028 年開始，HBM4 將扮演主角。

換句話說，HBM 將以大約兩年的間隔經(jīng)歷世代更迭。這意味著 DRAM 制造商必須繼續(xù)以 1 納米為單位進(jìn)行微型化，同時每兩年更新一次 HBM 標(biāo)準(zhǔn)。

因此，如圖 11 所示，2025 年后所有 HBM 的出貨量幾乎不會增加。這并不是因為 DRAM 制造商懈怠，而是因為他們必須盡最大努力生產(chǎn)最先進(jìn)的 DRAM 和最先進(jìn)的 HBM。

此外，2025 年后 HBM 出貨量不會大幅增長的原因之一是堆疊在 HBM 中的 DRAM 芯片數(shù)量將增加（圖 12）：隨著 GPU 性能的提高，HBM 的內(nèi)存容量（GB）也必須增加，因此堆疊在 HBM 2 和 HBM2E 中的 DRAM 數(shù)量將增加。HBM2 和 HBM2E 中堆疊的 DRAM 數(shù)量將增加到 4-8 個 DRAM，HBM3 和 HBM3E 中堆疊的 DRAM 數(shù)量將增加到 8-12 個，HBM4 中堆疊的 DRAM 數(shù)量將增加到 16 個。

圖12.每個 HBM 的內(nèi)存容量（GB）和 HBM 中的 DRAM 芯片堆疊數(shù)。來源：Yole Intelligence

這意味著 HBM2 只需要 4 到 8 個 DRAM，而 HBM4 將需要 2 到 4 倍的 DRAM，即 16 個 DRAM。這意味著，在 HBM4 時代，DRAM 制造商可以生產(chǎn)比 HBM2 多 2-4 倍的 DRAM，但出貨量仍與 HBM 相同。

因此，隨著 DRAM 繼續(xù)以 1nm 的增量縮小，HBM 兩年換一代，HBM 中堆疊的 DRAM 數(shù)量每一代都在增加，預(yù)計從 2025 年起，HBM 的總出貨量將達(dá)到飽和。

那么，HBM 的短缺會持續(xù)下去嗎？　DRAM 制造商是否無法進(jìn)一步增加 HBM 的出貨量？

DRAM 制造商急于大規(guī)模生產(chǎn) HBM

我們已經(jīng)解釋了 DRAM 制造商無法大幅增加 HBM 出貨量的原因，但 DRAM 制造商仍然能夠達(dá)到他們的極限，倘若超過這個極限，他們就會嘗試大量生產(chǎn) HBM。這是因為 HBM 的價格非常高。

圖 13 顯示了各種 HBM 和普通 DRAM 的每 GB 平均價格。普通 DRAM 和 HBM 在發(fā)布時的每 GB 價格都是最高的。雖然趨勢相同，但普通 DRAM 和 HBM 的每 GB 價格相差 20 倍以上。為了比較普通 DRAM 和 HBM 的每 GB 平均價格，圖 13 中的圖表顯示了普通 DRAM 的 10 倍價格。

圖13.各種 HBM 和普通 DRAM 的每 GB 平均價格比較。來源：Yole Intelligence

與普通 DRAM 的 0.49 美元相比，比較每 GB 的價格，在剛剛發(fā)布后的最高價格時，HBM2 的每 GB 價格大約是普通 DRAM 的 23 倍（11.4 美元），HBM2E 的每 GB 價格大約是普通 DRAM 的 28 倍（13.6 美元），HBM4 的每 GB 價格大約是普通 DRAM 的 30 倍（14.7 美元）。

此外，圖 14 顯示了各種 HBM 的平均價格。價格最高的 HBM2 為 73 美元，HBM2E 為 157 美元，HBM3 為 233 美元，HBM3E 為 372 美元，HBM4 則高達(dá) 560 美元。

圖14.各種 HBM 和標(biāo)準(zhǔn) DRAM 的每 GB 平均價格比較。來源：Yole Intelligence

圖 15顯示了 HBM 的價格有多昂貴。例如，DRAM廠商在1z工藝中生產(chǎn)的16GB DDR5 DRAM最多為3~4美元。不過，今年，SK海力士發(fā)布的HBM3E售價將比361美元高出90~120倍。

DDR（雙倍數(shù)據(jù)速率）是一種內(nèi)存標(biāo)準(zhǔn)。數(shù)據(jù)傳輸速度越來越快，DDR5 的速度是 DDR4 的兩倍，DDR6 的速度是 DDR5 的兩倍。2024 年將是 DDR4 向 DDR5 轉(zhuǎn)變的一年，DRAM 制造商也必須不斷更新其 DDR 標(biāo)準(zhǔn)。

圖15.各種半導(dǎo)體工藝、芯片尺寸、晶體管數(shù)量（位數(shù)）和平均價格的比較 

回到 HBM，HBM3E 的芯片尺寸與最新 iPhone 17 的 A15 仿生 AP（應(yīng)用處理器）大致相同，后者采用臺積電最先進(jìn)的 3nm 工藝生產(chǎn)，但價格高出 3.6 倍。DRAM的HBM高于高級邏輯。這是令人震驚的。而由于價格如此之高，DRAM廠商將竭盡全力增加出貨量，以主導(dǎo)HBM的霸主地位。

讓我們來看看三家DRAM制造商的路線圖。

DRAM 制造商爭奪 HBM

圖 16顯示了 2015~2024 年三家 DRAM 制造商如何生產(chǎn) HBM。

圖16. SK 海力士、三星和美光的 HBM 路線圖。來源：DIGITIMES Research

HBM1 首次成功量產(chǎn)的是 SK 海力士。然而，就HBM2而言，三星比SK海力士率先實現(xiàn)量產(chǎn)。當(dāng) NVIDIA 的 GPU 在 2023 年取得重大突破時，SK海力士率先成功量產(chǎn)HBM3。這為SK海力士帶來了巨大的利益。

另一方面，另一家 DRAM 制造商美光最初開發(fā)了與 HBM 標(biāo)準(zhǔn)不同的混合內(nèi)存立方體 （HMC）。然而，聯(lián)合電子器件工程委員會 （JEDEC） 是一個促進(jìn)美國半導(dǎo)體標(biāo)準(zhǔn)化的行業(yè)組織，已正式認(rèn)證了 HBM 標(biāo)準(zhǔn)而不是 HMC。因此，美光從2018年開始放棄HMC的開發(fā)，進(jìn)入HBM的開發(fā)，遠(yuǎn)遠(yuǎn)落后于兩家韓國制造商。

因此，在HBM 的市場份額中， SK 海力士為 54%，三星為 41%，美光為 5%。

擁有最大HBM份額的SK海力士將于2023年開始在其NAND工廠M15生產(chǎn)HBM。此外，HBM3E 將于 2024 年上半年發(fā)布。此外，在 2025 年，目前正在建設(shè)中的 M15X 工廠將專門為 HBM 重新設(shè)計，以生產(chǎn) HBM3E 和 HBM4。

另一方面，想要趕上SK海力士的三星計劃于2023年在三星顯示器的工廠開始生產(chǎn)HBM，2024年將HBM的產(chǎn)能翻倍，并在SK海力士之前于2025年量產(chǎn)HBM4。

一直落后的美光的目標(biāo)是在2024~2025年跳過HBM3，與HBM3E競爭，并在2025年獲得20%的市場份額。此外，到2027~2028年，該公司還設(shè)定了在HBM4和HBM4E量產(chǎn)方面趕上韓國兩大制造商的目標(biāo)。

這樣一來，三家DRAM廠商之間的激烈競爭可能會突破HBM出貨量的飽和，從而消除HBM的短缺。

NVIDIA的GPU短缺會持續(xù)多久？

在本文中，我們解釋了 NVIDIA GPU 等 AI 半導(dǎo)體全球短缺的原因。

1、NVIDIA 的 GPU 采用臺積電的 CoWoS 封裝制造。這個CoWoS的容量是完全不夠的。其原因是配備 GPU、CPU 和 HBM 等芯片的硅中介層每一代都變得越來越大。臺積電正試圖增加這個中間工藝的容量，但隨著GPU一代的推進(jìn)，中介層也會變得巨大。

2、CoWoS 的 HBM 短缺。造成這種情況的原因是DRAM制造商必須繼續(xù)以1nm的增量進(jìn)行小型化，HBM標(biāo)準(zhǔn)被迫每兩年更換一次，并且HBM中堆疊的DRAM芯片數(shù)量隨著每一代的增加而增加。

DRAM制造商正在盡最大努力生產(chǎn)HBM，但預(yù)計出貨量將在2025年之后飽和。然而，由于HBM的價格非常高，DRAM廠商之間競爭激烈，這可能導(dǎo)致HBM的短缺。

如上所述，有兩個瓶頸導(dǎo)致 NVIDIA 的 GPU 短缺：臺積電的制造產(chǎn)能短缺和 HBM 短缺，但這些問題不太可能在大約一年內(nèi)得到解決。因此，預(yù)計未來幾年 NVIDIA 的 GPU 短缺將會繼續(xù)下去。