大模型正引發(fā)一波新的AI算力荒，從此前的芯片緊缺，上升為AI算力集群級(jí)的饑渴癥。

根據(jù)產(chǎn)業(yè)鏈消息，參數(shù)可能僅30億的Sora用4200-10500塊H100訓(xùn)練了1個(gè)月；最新出爐的Llama 3 8B和70B的訓(xùn)練需要24000多塊H100組成的集群；據(jù)稱有1.8萬(wàn)億參數(shù)的GPT-4是在10000-25000張A100上完成了訓(xùn)練……

OpenAI、Meta等都在用數(shù)千卡、甚至萬(wàn)卡串聯(lián)，滿足不斷攀升的大模型訓(xùn)練需求，也給了我國(guó)大模型企業(yè)一本可參考的算力賬。

然而，多位GPU算力集群業(yè)內(nèi)人士告訴智東西，當(dāng)下我國(guó)智能算力處于嚴(yán)重的供不應(yīng)求狀態(tài)。在GPU全球稀缺背景下，單卡性能已相對(duì)沒那么重要，通過集群互聯(lián)實(shí)現(xiàn)整體算力的最大化，成為解決AI算力荒的必要路徑。

政策也已經(jīng)緊鑼密鼓地下發(fā)。4月24日，北京市經(jīng)濟(jì)和信息化局、北京市通信管理局印發(fā)《北京市算力基礎(chǔ)設(shè)施建設(shè)實(shí)施方案（2024—2027年）》，方案提出，規(guī)劃建設(shè)支撐萬(wàn)億級(jí)參數(shù)大模型訓(xùn)練需求的超大規(guī)模智算集群，并對(duì)采購(gòu)自主可控GPU芯片開展智能算力服務(wù)的企業(yè)予以支持。

產(chǎn)業(yè)這邊的動(dòng)作也沒有落后。國(guó)內(nèi)的頭部算力廠商都已加速布局大規(guī)模智算集群，比如云服務(wù)巨頭華為云打造了貴安、烏蘭察布、蕪湖3大AI云算力中心，頭部AI芯片公司摩爾線程過去四個(gè)月也已在南京、北京亦莊和北京密云完成3座全國(guó)產(chǎn)千卡智算中心的落地，助國(guó)產(chǎn)大模型產(chǎn)業(yè)發(fā)展提速。


GPU緊缺導(dǎo)致算力跟不上

大模型獲得突破以來，無論是產(chǎn)業(yè)巨頭還是學(xué)術(shù)界，都在為獲取足夠的算力資源而苦苦掙扎。去年9月，甲骨文董事長(zhǎng)埃里森和特斯拉CEO馬斯克在硅谷一家豪華餐廳中向黃仁勛“乞求”GPU的場(chǎng)景還歷歷在目。近日，人工智能領(lǐng)域知名學(xué)者、斯坦福大學(xué)教授李飛飛再次表達(dá)擔(dān)憂：高校的AI研究已經(jīng)被高昂的GPU成本所拖累，逐漸被產(chǎn)業(yè)界甩在身后。

Meta可以為模型訓(xùn)練采購(gòu)高達(dá)35萬(wàn)個(gè)GPU，而斯坦福大學(xué)的自然語(yǔ)言處理小組，卻總共只有68個(gè)GPU——這種“萬(wàn)”與“個(gè)”的懸殊對(duì)比，揭示了算力鴻溝的殘酷現(xiàn)實(shí)。為此，李飛飛提出建立“國(guó)家級(jí)算力與數(shù)據(jù)集倉(cāng)庫(kù)”的計(jì)劃，并稱其重要性堪比“登月投資”。

對(duì)我國(guó)而言，情況同樣嚴(yán)峻。以GPU等AI芯片為代表的稀缺算力資源，優(yōu)先向少數(shù)大型企業(yè)供給，高校、中小微企業(yè)苦于高昂成本難以參與其中。

在此背景下，超大規(guī)模智算中心的建設(shè)或許能為解決算力短缺問題提供一個(gè)思路，成為我國(guó)在全球AI競(jìng)爭(zhēng)中取得優(yōu)勢(shì)的重要一環(huán)。

事實(shí)上，我國(guó)早已在算力基礎(chǔ)設(shè)施上展開積極布局。“東數(shù)西算”工程作為國(guó)家級(jí)的工程項(xiàng)目，在全國(guó)范圍內(nèi)規(guī)劃了八大樞紐節(jié)點(diǎn)和十大數(shù)據(jù)集群，并且已經(jīng)取得顯著進(jìn)展。

以十大集群之一的韶關(guān)集群為例，前不久，其首批上線運(yùn)營(yíng)的華南數(shù)谷智算中心，一期規(guī)劃算力16000P（1P約等于每秒1000萬(wàn)億次計(jì)算速度），規(guī)模居粵港澳大灣區(qū)首位。預(yù)計(jì)到2025年初，韶關(guān)集群的智能算力規(guī)模將達(dá)到50000P，成為大灣區(qū)、廣東省乃至整個(gè)華南地區(qū)的最大體量。這些算力資源，不僅可以滿足高校的科研需求，還可以為中小企業(yè)等各行各業(yè)提供實(shí)時(shí)、高效的算力支持。

然而，超大規(guī)模智算中心的建設(shè)并非易事。它需要突破一系列核心技術(shù)，其中異構(gòu)算力的統(tǒng)籌和調(diào)度尤為關(guān)鍵。異構(gòu)計(jì)算，即多種算力的混合使用，對(duì)于實(shí)現(xiàn)全國(guó)算力中心的大一統(tǒng)和優(yōu)化資源利用至關(guān)重要。在多個(gè)數(shù)據(jù)中心或智算中心互聯(lián)互通的復(fù)雜場(chǎng)景下，異構(gòu)計(jì)算的挑戰(zhàn)前所未有。傳播內(nèi)容認(rèn)知全國(guó)重點(diǎn)實(shí)驗(yàn)室研究員張冬明表示，在異構(gòu)算力的建設(shè)和發(fā)展過程中，國(guó)產(chǎn)AI芯片必將扮演越來越重要的角色。然而就目前來說，受配套軟件、固件支持等生態(tài)系統(tǒng)方面的制約，真正能夠有效支撐大模型訓(xùn)練的國(guó)產(chǎn)算力集群并不多。

這些情況已被有關(guān)部門敏銳捕捉到。今年年初，工業(yè)和信息化部等七部門聯(lián)合印發(fā)的《關(guān)于推動(dòng)未來產(chǎn)業(yè)創(chuàng)新發(fā)展的實(shí)施意見》中提到：“加快突破GPU芯片、集群低時(shí)延互連網(wǎng)絡(luò)、異構(gòu)資源管理等技術(shù)，建設(shè)超大規(guī)模智算中心，滿足大模型迭代訓(xùn)練和應(yīng)用推理需求。”

專家認(rèn)為，在當(dāng)前階段，大部分算力性能的提升主要來自“系統(tǒng)集成”。既有基于小芯粒技術(shù)的芯片級(jí)集成，也有基于一卡多芯技術(shù)的板卡級(jí)集成，還有基于液冷和高互聯(lián)的機(jī)架級(jí)集成。因此，建議在加強(qiáng)單芯片能力的同時(shí)，應(yīng)注重提升AI算力的系統(tǒng)集成能力，從單點(diǎn)突破轉(zhuǎn)向橫向拓展，對(duì)芯粒、液冷、互聯(lián)等相關(guān)技術(shù)持續(xù)投入，進(jìn)一步實(shí)現(xiàn)AI算力系統(tǒng)的高算力、高效能、高穩(wěn)定、高性價(jià)比。

當(dāng)前，智算中心正在成為通用人工智能發(fā)展的關(guān)鍵。而超大規(guī)模智算中心，正在成為智算中心持續(xù)演進(jìn)的未來形態(tài)。隨著智算中心的發(fā)展成熟，“開箱即用”的智能計(jì)算服務(wù)有望成為主流。當(dāng)然，這需要產(chǎn)業(yè)界、學(xué)術(shù)界和政府的通力合作。

在算力資源的統(tǒng)籌配置方面，業(yè)內(nèi)人士建議，政府可以通過行政手段，以統(tǒng)籌建設(shè)的方式集中采購(gòu)，通過“云化”將算力按P銷售，再以“算力券”等的方式補(bǔ)貼中小型科研機(jī)構(gòu)，以促進(jìn)AI的研究和應(yīng)用發(fā)展。


中國(guó)AI算力生態(tài)或?qū)l(fā)生巨變

綜合考慮美國(guó)禁令、當(dāng)前國(guó)內(nèi)各個(gè)公司的產(chǎn)品線布局，研發(fā)實(shí)力，產(chǎn)品進(jìn)度等因素，我們認(rèn)為未來中國(guó)AI算力生態(tài)或?qū)l(fā)生較大改變，由現(xiàn)在的英偉達(dá)一家獨(dú)大，逐步演變?yōu)閲?guó)際生態(tài)（英偉達(dá)、AMD、Intel等）和國(guó)內(nèi)生態(tài)分庭抗禮的局面。英偉達(dá)目前仍然有望憑借良好的CUDA生態(tài)，以及較好的集群性能占據(jù)一定的市場(chǎng)份額。但是由于其受制于美國(guó)禁令，對(duì)單卡性能的嚴(yán)格限制或?qū)?yán)重影響其在中國(guó)區(qū)的市場(chǎng)份額。

在國(guó)內(nèi)生態(tài)中，華為昇騰目前在研發(fā)、產(chǎn)品能力以及生態(tài)閉環(huán)上保持領(lǐng)先，預(yù)計(jì)將成為國(guó)內(nèi)第一份額；海光信息依托中科曙光和中科院系強(qiáng)大的后盾，具備“芯-端-云”的完整閉環(huán)，與華為“鯤鵬+昇騰”產(chǎn)業(yè)鏈對(duì)應(yīng)，有望成為重要的國(guó)產(chǎn)算力生態(tài)。其他獨(dú)立第三方例如寒武紀(jì)、壁仞科技、摩爾線程、景嘉微等也將充分受益于算力國(guó)產(chǎn)化機(jī)會(huì)，有望憑借性價(jià)比優(yōu)勢(shì)分得一定的市場(chǎng)份額。整體看，隨著國(guó)產(chǎn)算力的不斷迭代，有望在未來實(shí)現(xiàn)彎道超車。


GPGPU技術(shù)路線或?qū)⑷〉酶笫袌?chǎng)份額

最初GPU的設(shè)計(jì)目標(biāo)僅是提升計(jì)算機(jī)對(duì)圖像視頻等數(shù)據(jù)的處理性能，解決CPU的性能瓶頸。但是，隨著GPU在并行計(jì)算方面性能優(yōu)勢(shì)的逐步顯現(xiàn)，以及并行計(jì)算應(yīng)用范圍的拓展，GPU演化出兩條分支：一條是傳統(tǒng)意義的GPU，延續(xù)專門用于圖形圖像處理用途，內(nèi)置了視頻編解碼加速引擎、2D加速引擎、3D加速引擎、圖像渲染等專用運(yùn)算模塊；另一條是作為運(yùn)算協(xié)處理器的GPGPU，增加了專用向量、張量、矩陣運(yùn)算指令，提升了浮點(diǎn)運(yùn)算的精度和性能，可以滿足更多計(jì)算場(chǎng)景的需要。

隨著GPGPU的技術(shù)進(jìn)步和生態(tài)完善，其應(yīng)用領(lǐng)域不斷拓展，除了傳統(tǒng)的圖形圖像處理外，還涉及了商業(yè)計(jì)算、大數(shù)據(jù)處理、人工智能等多個(gè)領(lǐng)域。在人工智能領(lǐng)域，其優(yōu)勢(shì)主要體現(xiàn)在：

（1）訓(xùn)練效率高，加快模型的迭代和優(yōu)化；

（2）能源消耗低，人工智能的運(yùn)行成本；

（3）軟件生態(tài)豐富，支持主流的人工智能框架，便于已有應(yīng)用程序的移植和新算法的開發(fā)。目前，GPGPU已成為人工智能相關(guān)解決方案的主流選擇。


總結(jié)：

AIGC帶動(dòng)GPU需求激增，根據(jù)11月22日英偉達(dá)發(fā)布的2024Q3財(cái)報(bào)，3季度數(shù)據(jù)中心業(yè)務(wù)實(shí)現(xiàn)營(yíng)收145.14億美元，同比增長(zhǎng) 278.66%。美國(guó)商務(wù)部最新出口管制措施實(shí)施之前，英偉達(dá)數(shù)據(jù)中心業(yè)務(wù)2023年總營(yíng)收預(yù)計(jì)約450億美元。按照中國(guó)區(qū)數(shù)據(jù)中心業(yè)務(wù)收入占比約為20%-25%，2023年中國(guó)區(qū)英偉達(dá)數(shù)據(jù)中心業(yè)務(wù)收入約為90-112.5億美元，中性估計(jì)2024年中國(guó)區(qū)數(shù)據(jù)中心需求同比增長(zhǎng)15%，那么2024年中國(guó)區(qū)英偉達(dá)GPU替代空間約742-927億人民幣。

在國(guó)內(nèi)生態(tài)中，華為昇騰目前在研發(fā)、產(chǎn)品能力以及生態(tài)閉環(huán)上保持領(lǐng)先，預(yù)計(jì)將成為國(guó)內(nèi)第一份額；海光信息依托中科曙光和中科院系強(qiáng)大的后盾，具備“芯-端-云”的完整閉環(huán)，與華為“鯤鵬+昇騰”產(chǎn)業(yè)鏈對(duì)應(yīng)，有望成為重要的國(guó)產(chǎn)算力生態(tài)。其他獨(dú)立第三方例如寒武紀(jì)、壁仞科技、摩爾線程、景嘉微等也將充分受益于算力國(guó)產(chǎn)化機(jī)會(huì)，有望憑借性價(jià)比優(yōu)勢(shì)分得一定的市場(chǎng)份額。整體看，隨著國(guó)產(chǎn)算力的不斷迭代，有望在未來實(shí)現(xiàn)彎道超車。