英偉達（Nvidia）于當地時間13日上午在 “Supercomputing 23”會議上正式發布了全新的H200 GPU，以及更新后的GH200 產品線。

其中，H200依然是建立在現有的 Hopper H100 架構之上，但增加了更多高帶寬內存（HBM3e），從而更好地處理開發和實施人工智能所需的大型數據集，使得運行大模型的綜合性能相比前代H100提升了60%到90%。而更新后的GH200，也將為下一代 AI 超級計算機提供動力。2024 年將會有超過 200 exaflops 的 AI 計算能力上線。


H200：HBM容量提升76%，大模型性能提升90%

具體來說，全新的H200提供了總共高達141GB 的 HBM3e 內存，有效運行速度約為 6.25 Gbps，六個 HBM3e 堆棧中每個 GPU 的總帶寬為 4.8 TB/s。與上一代的H100（具有 80GB HBM3 和 3.35 TB/s 帶寬）相比，這是一個巨大的改進，HBM容量提升了超過76%。官方提供的數據顯示，在運行大模型時，H200相比H100將帶來60%（GPT3 175B）到90%（Llama 2 70B）的提升。

雖然H100 的某些配置確實提供了更多內存，例如 H100 NVL 將兩塊板配對，并提供總計 188GB 內存（每個 GPU 94GB），但即便是與 H100 SXM 變體相比，新的 H200 SXM 也提供了 76% 以上的內存容量和 43 % 更多帶寬。

需要指出的是，H200原始計算性能似乎沒有太大變化。英偉達展示的唯一體現計算性能的幻燈片是基于使用了 8 個 GPU的HGX 200 配置，總性能為“32 PFLOPS FP8”。而最初的H100提供了3,958 teraflops 的 FP8算力，因此八個這樣的 GPU 也提供了大約32 PFLOPS 的 FP8算力。

那么更多的高帶寬內存究竟帶來了哪些提升呢？這將取決于工作量。對于像 GPT-3 這樣的大模型（LLM）來說，將會大大受益于HBM內存容量增加。英偉達表示，H200在運行GPT-3時的性能，將比原始 A100 高出 18 倍，同時也比H100快11倍左右。還有即將推出的 Blackwell B100 的預告片，不過目前它只包含一個逐漸變黑的更高條，大約達到了H200的兩倍最右。

不僅如此，H200和H100是互相兼容的。也就是說，使用H100訓練/推理模型的AI企業，可以無縫更換成最新的H200芯片。云端服務商將H200新增到產品組合時也不需要進行任何修改。

11月15日，微軟董事長兼CEO薩提亞·納德拉（Satya Nadella）在微軟Ignite全球技術大會發表了將近一個小時的開幕演講。正如此前的預告，納德拉的演講幾乎完全圍繞AI展開，在硬件方面推出了由微軟設計的首款CPU（中央處理器）Azure Cobalt 100，以及首款專門用于云端訓練和推理的AI芯片Azure Maia 100。兩者都將優先用于支持微軟自己的云服務。

當日，微軟股價波動不大，漲0.04%收于369.67美元，續創收盤新高。目前，微軟總市值已經達到2.75萬億美元。

據納德拉介紹，Cobalt 100基于Arm架構，具有128個核心，被稱為“所有云計算供應商中速度最快的CPU”，已經在微軟的部分業務中得到了應用并將于明年上市。備受期待的微軟自研AI芯片Azure Maia也在大會上進行了首秀，Maia 100采用5nm制程，晶體管數量達到1050億個。納德拉表示，Maia 100旨在運行大語言模型、幫助AI系統更快地處理大量數據，將首先為微軟自己的AI應用程序提供支持，之后再向合作伙伴和客戶開放。

據外媒分析，微軟的Maia 100和Cobalt 100將分別對英偉達和英特爾在AI芯片和CPU行業中的龍頭地位帶來挑戰。面對頂級AI芯片供應不足的挑戰，微軟也終于加入了其他互聯網巨頭的自研行列。此前，谷歌從2016年起開始推出自研AI張量處理單元（TPU），到今年9月已經發展到第五代，而亞馬遜云科技（AWS）則在2020年宣布推出用于訓練AI模型的自研芯片Trainium。


微軟挑戰英偉達AI芯片地位

11月15日，微軟董事長兼CEO薩提亞·納德拉（Satya Nadella）在微軟Ignite全球技術大會發表了將近一個小時的開幕演講。正如此前的預告，納德拉的演講幾乎完全圍繞AI展開，在硬件方面推出了由微軟設計的首款CPU（中央處理器）Azure Cobalt 100，以及首款專門用于云端訓練和推理的AI芯片Azure Maia 100。兩者都將優先用于支持微軟自己的云服務。

據納德拉介紹，Cobalt 100基于Arm架構，具有128個核心，被稱為“所有云計算供應商中速度最快的CPU”，已經在微軟的部分業務中得到了應用并將于明年上市。備受期待的微軟自研AI芯片Azure Maia也在大會上進行了首秀，Maia 100采用5nm制程，晶體管數量達到1050億個。納德拉表示，Maia 100旨在運行大語言模型、幫助AI系統更快地處理大量數據，將首先為微軟自己的AI應用程序提供支持，之后再向合作伙伴和客戶開放。

據外媒分析，微軟的Maia 100和Cobalt 100將分別對英偉達和英特爾在AI芯片和CPU行業中的龍頭地位帶來挑戰。面對頂級AI芯片供應不足的挑戰，微軟也終于加入了其他互聯網巨頭的自研行列。此前，谷歌從2016年起開始推出自研AI張量處理單元（TPU），到今年9月已經發展到第五代，而亞馬遜云科技（AWS）則在2020年宣布推出用于訓練AI模型的自研芯片Trainium。


自研芯片，微軟蓄謀已久

在微軟看來，芯片是云的主力。它們控制著數十億個晶體管，處理流經數據中心的大量 1 和 0。這項工作最終允許您在屏幕上執行幾乎所有操作，從發送電子郵件到用簡單的句子在 Bing 中生成圖像。

就像建造房屋可以讓你控制每一個設計選擇和細節一樣，微軟將添加自研芯片視為確保每個元素都是針對微軟云和人工智能工作負載量身定制的一種方式。這些芯片將安裝在定制服務器主板上，放置在定制的機架內，可以輕松安裝到現有的微軟數據中心內。硬件將與軟件攜手合作，共同設計以釋放新的功能和機遇。

Azure 硬件系統和基礎設施 (AHSI) 公司副總裁 Rani Borkar 表示，公司的最終目標是 讓Azure 硬件系統能夠提供最大的靈活性，并且還可以針對功耗、性能、可持續性或成本進行優化。

“軟件是我們的核心優勢，但坦白說，我們是一家系統公司。在微軟，我們正在共同設計和優化硬件和軟件，以便一加一大于二，”Borkar說。“我們可以看到整個堆棧，而硅只是其中的成分之一。”

領導 Azure Maia 團隊的微軟技術研究員 Brian Harry 表示，Maia 100 AI 加速器是專為 Azure 硬件堆棧設計的。他表示，這種垂直整合——芯片設計與考慮到微軟工作負載而設計的更大的人工智能基礎設施的結合——可以在性能和效率方面帶來巨大的收益。

AHSI 團隊合作伙伴項目經理 Pat Stemen 則表示，2016 年之前，微軟云的大部分層都是現成購買的。然后微軟開始定制自己的服務器和機架，降低成本并為客戶提供更一致的體驗。隨著時間的推移，硅成為主要的缺失部分。

在微軟看來，構建自己的定制芯片的能力使微軟能夠瞄準某些品質并確保芯片在其最重要的工作負載上發揮最佳性能。其測試過程包括確定每個芯片在不同頻率、溫度和功率條件下的性能以獲得最佳性能，更重要的是，在與現實世界的微軟數據中心相同的條件和配置下測試每個芯片。微軟強調，公司今天推出的芯片架構不僅可以提高冷卻效率，還可以優化其當前數據中心資產的使用，并在現有占地面積內最大限度地提高服務器容量。

未來核心技術與創新

芯片設計創新

在AI芯片的設計領域，創新主要體現在提高運算能力與減少能耗上。當前，市場上領先的AI芯片如英偉達的A100 Tensor Core GPU擁有19.5 TeraFLOPS的單精度計算能力，功耗為400瓦特。設計創新還體現在采用了新的架構，如使用張量核心專門針對AI計算進行優化，相較于傳統的GPU，在相同的功耗下提高了6倍以上的AI計算效率。


制造工藝進步

在制造工藝上，先進的7納米和5納米制程技術已成為市場標配。比如，臺積電（TSMC）的5納米工藝相比上一代10納米工藝，在性能上提升了15%，功耗降低了30%，同時邏輯區域密度提高了80%。這意味著在同等面積的芯片上可以集成更多的功能單元，大大提高了芯片的整體性能。


材料科學的突破

材料科學的進展為AI芯片的性能提升提供了基礎。例如，碳納米管和石墨烯等新材料因其超常的導電性和強度，被研究用于下一代芯片，理論上可以極大地降低芯片的功耗并提升傳輸速度。盡管當前這些材料還未大規模商用，但已在實驗室中展現出相較于傳統硅材料數倍甚至數十倍的性能提升潛力。


能效優化

能效是AI芯片領域一直在追求的關鍵指標。以谷歌的TPU（Tensor Processing Unit）為例，其第四代TPU在AI推理任務上的能效比達到了2倍每瓦特每秒的計算速度，這一數據是其第一代產品的近8倍提升。能效的優化不僅減少了運營成本，同時也降低了數據中心的環境影響。