大模型正引發(fā)一波新的AI算力荒，從此前的芯片緊缺，上升為AI算力集群級的饑渴癥。

根據(jù)產(chǎn)業(yè)鏈消息，參數(shù)可能僅30億的Sora用4200-10500塊H100訓(xùn)練了1個月；最新出爐的Llama 3 8B和70B的訓(xùn)練需要24000多塊H100組成的集群；據(jù)稱有1.8萬億參數(shù)的GPT-4是在10000-25000張A100上完成了訓(xùn)練……

OpenAI、Meta等都在用數(shù)千卡、甚至萬卡串聯(lián)，滿足不斷攀升的大模型訓(xùn)練需求，也給了我國大模型企業(yè)一本可參考的算力賬。

然而，多位GPU算力集群業(yè)內(nèi)人士告訴智東西，當(dāng)下我國智能算力處于嚴(yán)重的供不應(yīng)求狀態(tài)。在GPU全球稀缺背景下，單卡性能已相對沒那么重要，通過集群互聯(lián)實現(xiàn)整體算力的最大化，成為解決AI算力荒的必要路徑。

政策也已經(jīng)緊鑼密鼓地下發(fā)。4月24日，北京市經(jīng)濟和信息化局、北京市通信管理局印發(fā)《北京市算力基礎(chǔ)設(shè)施建設(shè)實施方案（2024—2027年）》，方案提出，規(guī)劃建設(shè)支撐萬億級參數(shù)大模型訓(xùn)練需求的超大規(guī)模智算集群，并對采購自主可控GPU芯片開展智能算力服務(wù)的企業(yè)予以支持。

產(chǎn)業(yè)這邊的動作也沒有落后。國內(nèi)的頭部算力廠商都已加速布局大規(guī)模智算集群，比如云服務(wù)巨頭華為云打造了貴安、烏蘭察布、蕪湖3大AI云算力中心，頭部AI芯片公司摩爾線程過去四個月也已在南京、北京亦莊和北京密云完成3座全國產(chǎn)千卡智算中心的落地，助國產(chǎn)大模型產(chǎn)業(yè)發(fā)展提速。


GPU緊缺導(dǎo)致算力跟不上

大模型獲得突破以來，無論是產(chǎn)業(yè)巨頭還是學(xué)術(shù)界，都在為獲取足夠的算力資源而苦苦掙扎。去年9月，甲骨文董事長埃里森和特斯拉CEO馬斯克在硅谷一家豪華餐廳中向黃仁勛“乞求”GPU的場景還歷歷在目。近日，人工智能領(lǐng)域知名學(xué)者、斯坦福大學(xué)教授李飛飛再次表達(dá)擔(dān)憂：高校的AI研究已經(jīng)被高昂的GPU成本所拖累，逐漸被產(chǎn)業(yè)界甩在身后。

Meta可以為模型訓(xùn)練采購高達(dá)35萬個GPU，而斯坦福大學(xué)的自然語言處理小組，卻總共只有68個GPU——這種“萬”與“個”的懸殊對比，揭示了算力鴻溝的殘酷現(xiàn)實。為此，李飛飛提出建立“國家級算力與數(shù)據(jù)集倉庫”的計劃，并稱其重要性堪比“登月投資”。

對我國而言，情況同樣嚴(yán)峻。以GPU等AI芯片為代表的稀缺算力資源，優(yōu)先向少數(shù)大型企業(yè)供給，高校、中小微企業(yè)苦于高昂成本難以參與其中。

在此背景下，超大規(guī)模智算中心的建設(shè)或許能為解決算力短缺問題提供一個思路，成為我國在全球AI競爭中取得優(yōu)勢的重要一環(huán)。

事實上，我國早已在算力基礎(chǔ)設(shè)施上展開積極布局。“東數(shù)西算”工程作為國家級的工程項目，在全國范圍內(nèi)規(guī)劃了八大樞紐節(jié)點和十大數(shù)據(jù)集群，并且已經(jīng)取得顯著進展。

以十大集群之一的韶關(guān)集群為例，前不久，其首批上線運營的華南數(shù)谷智算中心，一期規(guī)劃算力16000P（1P約等于每秒1000萬億次計算速度），規(guī)模居粵港澳大灣區(qū)首位。預(yù)計到2025年初，韶關(guān)集群的智能算力規(guī)模將達(dá)到50000P，成為大灣區(qū)、廣東省乃至整個華南地區(qū)的最大體量。這些算力資源，不僅可以滿足高校的科研需求，還可以為中小企業(yè)等各行各業(yè)提供實時、高效的算力支持。

然而，超大規(guī)模智算中心的建設(shè)并非易事。它需要突破一系列核心技術(shù)，其中異構(gòu)算力的統(tǒng)籌和調(diào)度尤為關(guān)鍵。異構(gòu)計算，即多種算力的混合使用，對于實現(xiàn)全國算力中心的大一統(tǒng)和優(yōu)化資源利用至關(guān)重要。在多個數(shù)據(jù)中心或智算中心互聯(lián)互通的復(fù)雜場景下，異構(gòu)計算的挑戰(zhàn)前所未有。傳播內(nèi)容認(rèn)知全國重點實驗室研究員張冬明表示，在異構(gòu)算力的建設(shè)和發(fā)展過程中，國產(chǎn)AI芯片必將扮演越來越重要的角色。然而就目前來說，受配套軟件、固件支持等生態(tài)系統(tǒng)方面的制約，真正能夠有效支撐大模型訓(xùn)練的國產(chǎn)算力集群并不多。

這些情況已被有關(guān)部門敏銳捕捉到。今年年初，工業(yè)和信息化部等七部門聯(lián)合印發(fā)的《關(guān)于推動未來產(chǎn)業(yè)創(chuàng)新發(fā)展的實施意見》中提到：“加快突破GPU芯片、集群低時延互連網(wǎng)絡(luò)、異構(gòu)資源管理等技術(shù)，建設(shè)超大規(guī)模智算中心，滿足大模型迭代訓(xùn)練和應(yīng)用推理需求。”

專家認(rèn)為，在當(dāng)前階段，大部分算力性能的提升主要來自“系統(tǒng)集成”。既有基于小芯粒技術(shù)的芯片級集成，也有基于一卡多芯技術(shù)的板卡級集成，還有基于液冷和高互聯(lián)的機架級集成。因此，建議在加強單芯片能力的同時，應(yīng)注重提升AI算力的系統(tǒng)集成能力，從單點突破轉(zhuǎn)向橫向拓展，對芯粒、液冷、互聯(lián)等相關(guān)技術(shù)持續(xù)投入，進一步實現(xiàn)AI算力系統(tǒng)的高算力、高效能、高穩(wěn)定、高性價比。

當(dāng)前，智算中心正在成為通用人工智能發(fā)展的關(guān)鍵。而超大規(guī)模智算中心，正在成為智算中心持續(xù)演進的未來形態(tài)。隨著智算中心的發(fā)展成熟，“開箱即用”的智能計算服務(wù)有望成為主流。當(dāng)然，這需要產(chǎn)業(yè)界、學(xué)術(shù)界和政府的通力合作。

在算力資源的統(tǒng)籌配置方面，業(yè)內(nèi)人士建議，政府可以通過行政手段，以統(tǒng)籌建設(shè)的方式集中采購，通過“云化”將算力按P銷售，再以“算力券”等的方式補貼中小型科研機構(gòu)，以促進AI的研究和應(yīng)用發(fā)展。


中國AI算力生態(tài)或?qū)l(fā)生巨變

綜合考慮美國禁令、當(dāng)前國內(nèi)各個公司的產(chǎn)品線布局，研發(fā)實力，產(chǎn)品進度等因素，我們認(rèn)為未來中國AI算力生態(tài)或?qū)l(fā)生較大改變，由現(xiàn)在的英偉達(dá)一家獨大，逐步演變?yōu)閲H生態(tài)（英偉達(dá)、AMD、Intel等）和國內(nèi)生態(tài)分庭抗禮的局面。英偉達(dá)目前仍然有望憑借良好的CUDA生態(tài)，以及較好的集群性能占據(jù)一定的市場份額。但是由于其受制于美國禁令，對單卡性能的嚴(yán)格限制或?qū)?yán)重影響其在中國區(qū)的市場份額。

在國內(nèi)生態(tài)中，華為昇騰目前在研發(fā)、產(chǎn)品能力以及生態(tài)閉環(huán)上保持領(lǐng)先，預(yù)計將成為國內(nèi)第一份額；海光信息依托中科曙光和中科院系強大的后盾，具備“芯-端-云”的完整閉環(huán)，與華為“鯤鵬+昇騰”產(chǎn)業(yè)鏈對應(yīng)，有望成為重要的國產(chǎn)算力生態(tài)。其他獨立第三方例如寒武紀(jì)、壁仞科技、摩爾線程、景嘉微等也將充分受益于算力國產(chǎn)化機會，有望憑借性價比優(yōu)勢分得一定的市場份額。整體看，隨著國產(chǎn)算力的不斷迭代，有望在未來實現(xiàn)彎道超車。


GPGPU技術(shù)路線或?qū)⑷〉酶笫袌龇蓊~

最初GPU的設(shè)計目標(biāo)僅是提升計算機對圖像視頻等數(shù)據(jù)的處理性能，解決CPU的性能瓶頸。但是，隨著GPU在并行計算方面性能優(yōu)勢的逐步顯現(xiàn)，以及并行計算應(yīng)用范圍的拓展，GPU演化出兩條分支：一條是傳統(tǒng)意義的GPU，延續(xù)專門用于圖形圖像處理用途，內(nèi)置了視頻編解碼加速引擎、2D加速引擎、3D加速引擎、圖像渲染等專用運算模塊；另一條是作為運算協(xié)處理器的GPGPU，增加了專用向量、張量、矩陣運算指令，提升了浮點運算的精度和性能，可以滿足更多計算場景的需要。

隨著GPGPU的技術(shù)進步和生態(tài)完善，其應(yīng)用領(lǐng)域不斷拓展，除了傳統(tǒng)的圖形圖像處理外，還涉及了商業(yè)計算、大數(shù)據(jù)處理、人工智能等多個領(lǐng)域。在人工智能領(lǐng)域，其優(yōu)勢主要體現(xiàn)在：

（1）訓(xùn)練效率高，加快模型的迭代和優(yōu)化；

（2）能源消耗低，人工智能的運行成本；

（3）軟件生態(tài)豐富，支持主流的人工智能框架，便于已有應(yīng)用程序的移植和新算法的開發(fā)。目前，GPGPU已成為人工智能相關(guān)解決方案的主流選擇。


總結(jié)：

AIGC帶動GPU需求激增，根據(jù)11月22日英偉達(dá)發(fā)布的2024Q3財報，3季度數(shù)據(jù)中心業(yè)務(wù)實現(xiàn)營收145.14億美元，同比增長 278.66%。美國商務(wù)部最新出口管制措施實施之前，英偉達(dá)數(shù)據(jù)中心業(yè)務(wù)2023年總營收預(yù)計約450億美元。按照中國區(qū)數(shù)據(jù)中心業(yè)務(wù)收入占比約為20%-25%，2023年中國區(qū)英偉達(dá)數(shù)據(jù)中心業(yè)務(wù)收入約為90-112.5億美元，中性估計2024年中國區(qū)數(shù)據(jù)中心需求同比增長15%，那么2024年中國區(qū)英偉達(dá)GPU替代空間約742-927億人民幣。

在國內(nèi)生態(tài)中，華為昇騰目前在研發(fā)、產(chǎn)品能力以及生態(tài)閉環(huán)上保持領(lǐng)先，預(yù)計將成為國內(nèi)第一份額；海光信息依托中科曙光和中科院系強大的后盾，具備“芯-端-云”的完整閉環(huán)，與華為“鯤鵬+昇騰”產(chǎn)業(yè)鏈對應(yīng)，有望成為重要的國產(chǎn)算力生態(tài)。其他獨立第三方例如寒武紀(jì)、壁仞科技、摩爾線程、景嘉微等也將充分受益于算力國產(chǎn)化機會，有望憑借性價比優(yōu)勢分得一定的市場份額。整體看，隨著國產(chǎn)算力的不斷迭代，有望在未來實現(xiàn)彎道超車。