AI需求大增，HBN從幕后走向臺前，年增長率將超50%
突破“內存墻”瓶頸，HBM應運而生
HBM（High Bandwidth Memory）即高帶寬存儲器，按照JEDEC的分類，HBM屬于圖形DDR內存的一種，其通過使用先進的封裝方法（如TSV硅通孔技術）垂直堆疊多個DRAM，并與GPU封裝在一起。
存儲器與處理器性能差異正隨時間發展逐漸擴大，當存儲器訪問速度跟不上處理器數據處理速度時，存儲與運算之間便筑起了一道“內存墻”。而隨著人工智能、高性能計算等應用市場興起，數據爆炸式增長之下，“內存墻”問題也愈發突出。為此，業界希望通過增加存儲器帶寬解決大數據時代下的“內存墻”問題，HBM便應運而生。
存儲器帶寬是指單位時間內可以傳輸的數據量，要想增加帶寬，最簡單的方法是增加數據傳輸線路的數量。據悉，典型的DRAM芯片中，每個芯片有八個DQ數據輸入/輸出引腳，組成DIMM模組單元之后，共有64個DQ引腳。而HBM通過系統級封裝（SIP）和硅通孔（TSV）技術，擁有多達1024個數據引腳，可顯著提升數據傳輸速度。
HBM技術之下，DRAM芯片從2D轉變為3D，可以在很小的物理空間里實現高容量、高帶寬、低延時與低功耗，因而HBM被業界視為新一代內存解決方案。
自2014年首款硅通孔HBM產品問世至今，HBM技術已經發展至第四代，分別是：HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代），HBM芯片容量從1GB升級至24GB，帶寬從128GB/s提升至819GB/s，數據傳輸速率也從1Gbps提高至6.4Gbps。
借AI東風，HBM需求激增
2021年的時候，HBM位元需求占整體DRAM市場只有不到1%。主要是因為HBM高昂的成本以及當時服務器市場中搭載相關AI運算卡的比重仍小于1%，且多數存儲器仍使用GDDR5(x)、GDDR6來支持其算力。
而到了今年年初，HBM的需求激增，并且業內人士稱，與最高性能的 DRAM 相比，HBM3 的價格上漲了五倍，HBM“逆襲”的主要原因，就是AI服務器需求的爆發。
在ChatGPT火了之后，一下子點燃了AIGC（生成式AI）的熱潮，誰不追，誰就要被拋下，于是大廠們紛紛開始推出自己的類ChatGPT的大模型。據不完全統計，自3月16日百度率先公布“文心一言”以來，國內已有超過30項大模型產品亮相。
而AI大模型的基礎，就是靠海量數據和強大算力來支撐訓練和推理過程。AI服務器作為算力基礎設施單元服務器的一種類型也來到了臺前，備受追捧。TrendForce集邦咨詢預估，2023年AI服務器（包含搭載GPU、FPGA、ASIC等）出貨量近120萬臺，同步上修2022-2026年AI服務器出貨量年復合成長率至22%。
HBM成本在AI服務器成本中占比排名第三，約占9%，單機ASP（單機平均售價）高達18,000美元。所以，AI服務器是HBM目前最矚目的應用領域。
AI服務器需要在短時間內處理大量數據，包括模型訓練數據、模型參數、模型輸出等。要想讓AI更加“智能”，AI大模型龐大的參數量少不了，比如ChatGPT基于的GPT3.5大模型的參數量就高達135B。數據處理量和傳輸速率的大幅提升，讓AI服務器對帶寬提出了更高的要求，而HBM基本是AI服務器的標配 。
AI服務器GPU市場以NVIDIA H100、A100、A800以及AMD MI250、MI250X系列為主，基本都配備了HBM。2023 GTC大會發布的ChatGPT專用最新H100 NVL GPU，也配置了188GB HBM3e內存。HBM方案目前已演進為較為主流的高性能計算領域擴展高帶寬的方案。
隨著高端GPU需求的逐步提升，TrendForce集邦咨詢預估2023年HBM需求量將年增58%，2024年有望再成長約30%。
除了AI服務器，汽車也是HBM值得關注的應用領域。汽車中的攝像頭數量，所有這些攝像頭的數據速率和處理所有信息的速度都是天文數字，想要在車輛周圍快速傳輸大量數據，HBM具有很大的帶寬優勢。但是最新的HBM3目前還沒有取得汽車認證，外加高昂的成本，所以遲遲還沒有“上車”。不過，Rambus的高管曾提出，HBM 絕對會進入汽車應用領域。
AR和VR也是HBM未來將發力的領域。因為VR和AR系統需要高分辨率的顯示器，這些顯示器需要更多的帶寬來在 GPU 和內存之間傳輸數據。而且，VR和AR也需要實時處理大量數據，這都需要HBM的超強帶寬來助力。
此外，智能手機、平板電腦、游戲機和可穿戴設備的需求也在不斷增長，這些設備需要更先進的內存解決方案來支持其不斷增長的計算需求，HBM也有望在這些領域得到增長。并且，5G 和物聯網 (IoT) 等新技術的出現也進一步推動了對 HBM 的需求。
不過，目前來講，HBM還是主要應用于服務器、數據中心等領域，消費領域對成本比較敏感，因此HBM的使用較少。
可以肯定的是，對帶寬的要求將不斷提高，HBM也將持續發展。市場調研機構Omdia預測，2025年HBM市場的總收入將達到25億美元。據新思界發布的分析報告顯示，預計2025年中國HBM需求量將超過100萬顆。
HBM市場格局：SK海力士、三星、美光三分天下
HBM是新一代內存解決方案，其市場被三大DRAM原廠牢牢占據。集邦咨詢調查顯示，2022年三大原廠HBM市占率分別為SK海力士50%、三星約40%、美光約10%。
公開資料顯示，SK海力士是HBM市場的先行者，也是全面布局四代HBM的廠商。2014年，SK海力士與AMD聯合開發第一代硅通孔HBM產品；2018年SK海力士發布第二代HBM產品HBM2；隨后2020年SK海力士發布第三代HBM——HBM2E，作為HBM2的擴展版本，性能與容量進一步提升；2021年10月SK海力士成功開發出第四代產品HBM3，并于2022年6月開始量產，今年4月，該公司進一步宣布，已經全球率先研發出12層堆疊的HBM3內存，單顆容量可達24GB。
三星對HBM的布局從HBM2開始，目前，三星已經向客戶提供了HBM2和HBM2E產品。2016年三星量產HBM2；2020年三星推出了HBM2；2021年2月，三星推出了HBM-PIM（存算一體），將內存半導體和AI處理器合二為一；2022年三星表示HBM3已量產。另據媒體報道，三星已于今年4月26日向韓國專利信息搜索服務提交“Snowbolt”商標申請，預估該商標將于今年下半年應用于DRAM HBM3P產品。
美光進軍HBM相對較晚，相關產品公開報道不多。2020年美光表示將開始提供HBM2產品，用于高性能顯卡，服務器處理器產品。另據業界透露，美光亦在發力最新HBM3產品。
集邦咨詢指出，2023下半年伴隨NVIDIA H100與AMD MI300的搭載，三大原廠也已規劃相對應規格HBM3的量產。其中，在今年將有更多客戶導入HBM3的預期下，SK海力士作為目前唯一量產新世代HBM3產品的供應商，其整體HBM市占率可望藉此提升至53%，而三星、美光則預計陸續在今年底至明年初量產，HBM市占率分別為38%及9%。
HBM未來潛力與演進方向
對于接下來的規劃策略和技術進步，業界旨在突破目前HBM在速度、密度、功耗、占板空間等方面的極限。
首先，為了打破速度極限，SK海力士正在評估提高引腳數據速率的傳統方法的利弊，以及超過1024個數據的I/O總線位寬，以實現更好的數據并行性和向后設計兼容性。簡單來講，即用最少的取舍獲得更高的帶寬性能。
針對更大數據集、訓練工作負載所需的更高內存密度要求，存儲廠商開始著手研究擴展Die堆疊層數和物理堆疊高度，以及增加核心Die密度以優化堆疊密度。
另一方面也在致力于提高功耗效率，通過評估從最低微結構級別到最高Die堆疊概念的內存結構和操作方案，最大限度地降低每帶寬擴展的絕對功耗。由于現有中介層光罩尺寸的物理限制以及支持處理單元和HBM Cube的其他相關技術，實現總內存Die尺寸最小化尤為重要。因此，行業廠商需要在不擴大現有物理尺寸的情況下增加存儲單元數量和功能，從而實現整體性能的飛躍。
但從產業發展歷程來看，完成上述任務的前提是：存儲廠商要與上下游生態系統合作伙伴攜手合作和開放協同，將HBM的使用范圍從現有系統擴展到潛在的下一代應用。
此外，新型HBM-PIM（存內計算）芯片將AI引擎引入每個存儲庫，從而將處理操作轉移到HBM。
在傳統架構下，數據從內存單元傳輸到計算單元需要的功耗是計算本身的約200倍，數據的搬運耗費的功耗遠大于計算，因此真正用于計算的能耗和時間占比很低，數據在存儲器與處理器之間的頻繁遷移帶來嚴重的傳輸功耗問題，稱為“功耗墻”。新型的內存旨在減輕在內存和處理器之間搬運數據的負擔。
過去幾年來，HBM產品帶寬增加了數倍，目前已接近或達到1TB/秒的里程碑節點。相較于同期內其他產品僅增加兩三倍的帶寬增速，HBM的快速發展歸功于存儲器制造商之間的競爭和比拼。
