人工智能要發(fā)展，離不開三個(gè)關(guān)鍵要素：算力、算法和數(shù)據(jù)。進(jìn)入大模型時(shí)代，算力增速變成了每年增長(zhǎng)上百倍，從去年算力的規(guī)模來看，到今年已經(jīng)達(dá)到268EFLOPS。在大模型應(yīng)用場(chǎng)景的廣泛開拓與深入發(fā)展的背景下，智能算力規(guī)模超過通用算力，并且未來5年的增速已經(jīng)達(dá)到了52%。所以過去一年，眾多企業(yè)紛紛開始搶占算力資源，以贏得市場(chǎng)先機(jī)。

陳振寬認(rèn)為，“大模型訓(xùn)練依靠的是整個(gè)算力集群，包含整套的服務(wù)。例如分布式訓(xùn)練的構(gòu)建；不同節(jié)點(diǎn)顯卡的并行作業(yè)；節(jié)點(diǎn)內(nèi)和節(jié)點(diǎn)間的通信；AI存儲(chǔ)、高速網(wǎng)絡(luò)，異構(gòu)算力調(diào)度等等。突破算力這一關(guān)，才算拿到人工智能時(shí)代的‘船票’。”

過去，十億級(jí)、百億級(jí)的模型訓(xùn)練已經(jīng)逐漸成熟，包括科學(xué)研究、機(jī)器視覺等等應(yīng)用場(chǎng)景。但對(duì)于千億級(jí)參數(shù)大模型的訓(xùn)練，以及后續(xù)所需的精調(diào)和推理，對(duì)算力的需求將會(huì)方興未艾。

數(shù)據(jù)量增長(zhǎng)帶來算力需求提升，智能算力規(guī)模有望快速增長(zhǎng)

數(shù)據(jù)海量增加，算法模型愈加復(fù)雜，應(yīng)用場(chǎng)景的深入和發(fā)展，帶來了對(duì)算力需 求的快速提升。根據(jù)白皮書數(shù)據(jù)顯示，從 2012 年開始的 6 年中, Al 計(jì)算的需求增 加了 30 萬倍。

算力發(fā)展推動(dòng)我國(guó)數(shù)字經(jīng)濟(jì)量質(zhì)齊升。2022 年我國(guó)算力規(guī)模穩(wěn)步擴(kuò)張，智能 算力保持強(qiáng)勁增長(zhǎng)。我國(guó)算力產(chǎn)業(yè)保持穩(wěn)健發(fā)展，并且為拉動(dòng)我國(guó) GDP 增長(zhǎng)做出 突出貢獻(xiàn)，在 2016-2022 年期間，我國(guó)算力規(guī)模平均每年增長(zhǎng) 46%，數(shù)字經(jīng)濟(jì)增 長(zhǎng) 14.2%，GDP 增長(zhǎng) 8.4%。 各地也將算力發(fā)展放在重要位置。從算力發(fā)展指數(shù)來看，我國(guó)京津冀、長(zhǎng)三角、 粵港澳大灣區(qū)、成渝雙城經(jīng)濟(jì)圈等區(qū)域算力發(fā)展保持領(lǐng)先水平，其中廣東、北京、 江蘇、浙江、山東、上海仍然位于第一梯隊(duì)。中西部核心省份算力發(fā)展日益崛起，貴州、內(nèi)蒙古、甘肅、寧夏等核心省份算力發(fā)展優(yōu)勢(shì)突出，隨著“東數(shù)西存”“東 數(shù)西訓(xùn)”“東數(shù)西算”等鏈條并行發(fā)展，中西部地區(qū)技術(shù)創(chuàng)新、算力應(yīng)用、產(chǎn)業(yè)基 礎(chǔ)等制約算力發(fā)展的條件不斷得到改善。

根據(jù) IDC 測(cè)算，國(guó)內(nèi)智能算力規(guī)模正在高速增長(zhǎng)。2022 年中國(guó)智能算力規(guī)模 達(dá) 259.9 每秒百億億次浮點(diǎn)運(yùn)算 (EFLOPS) ，2023 年將達(dá)到 414.1 EFLOPS，預(yù) 計(jì)到 2027 年將達(dá)到 1117.4 EFLOPS（基于 FP16 計(jì)算）。2022-2027 年期間， 中國(guó)智能算力規(guī)模年復(fù)合增長(zhǎng)率達(dá) 33.9%。

2022 年中國(guó)通用算力規(guī)模達(dá) 54.5 EFLOP5，預(yù)計(jì)到 2027 年通用算力規(guī)模將達(dá)到 117.3 EFLOPS（基于 FP64 計(jì)算）。2022-2027 年期間，中國(guó)通用算力規(guī)模 年復(fù)合增長(zhǎng)率為 16.6%。


上海打造全國(guó)規(guī)模最大國(guó)產(chǎn)單池萬卡液冷算力集群

1月22日，中國(guó)電信上海公司（以下簡(jiǎn)稱“上海電信”）聯(lián)合徐匯區(qū)政府共同舉辦“算力惠模都萬兆連速城”人工智能公共算力服務(wù)產(chǎn)品發(fā)布會(huì)，會(huì)上，中國(guó)電信在上海率先啟動(dòng)“大規(guī)模算力集群暨人工智能公共算力服務(wù)平臺(tái)”，這也是全國(guó)首個(gè)國(guó)產(chǎn)單池萬卡液冷算力集群，將助推上海搶占全國(guó)算力發(fā)展制高點(diǎn)。

據(jù)了解，該集群采用新一代國(guó)產(chǎn)AI算力，實(shí)現(xiàn)了全棧自主創(chuàng)新和技術(shù)突破，通過高速RDMA（遠(yuǎn)程直接數(shù)據(jù)存取）連接各物理機(jī)節(jié)點(diǎn)，提供低延時(shí)、高吞吐量、無損通信網(wǎng)絡(luò)和強(qiáng)大的并行計(jì)算能力，是目前規(guī)模最大的全國(guó)產(chǎn)液冷機(jī)房，多項(xiàng)技術(shù)指標(biāo)領(lǐng)跑全國(guó)：如最高可支持萬億參數(shù)大模型，便于各科研院校、大模型訓(xùn)練公司等機(jī)構(gòu)和企業(yè)實(shí)現(xiàn)物理資源獨(dú)享，無虛擬化損耗，滿足AI計(jì)算、深度學(xué)習(xí)、圖形渲染等復(fù)雜訓(xùn)練任務(wù)對(duì)算力的要求。

同日，上海電信“雙萬兆接入暨一跳入算服務(wù)”正式在徐匯區(qū)“模速空間”啟用，上海電信將為入駐企業(yè)提供雙萬兆網(wǎng)絡(luò)和“一跳入算”服務(wù)，以及算力算網(wǎng)免費(fèi)試用和優(yōu)惠商用資費(fèi)。

徐匯區(qū)“模速空間”是全國(guó)首個(gè)大模型專業(yè)孵化和加速載體、大模型創(chuàng)新高地和生態(tài)集聚區(qū)。

AI計(jì)算芯片的不同路線角色，GPGPU肩負(fù)算力新基建重任

工業(yè)和信息化部、中央網(wǎng)信辦、等六部門聯(lián)合印發(fā)的《算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動(dòng)計(jì)劃》的發(fā)布，有望推動(dòng)我國(guó)算力基礎(chǔ)設(shè)施快速發(fā)展，利于行業(yè)景氣度提升，整個(gè)算力產(chǎn)業(yè)鏈或?qū)⒂瓉硇碌脑隽靠臻g。

如同攀登珠峰的路線不止一條一樣，AI計(jì)算芯片也分多種。根據(jù)應(yīng)用場(chǎng)景不同，AI芯片分為訓(xùn)練芯片、推理芯片、訓(xùn)推一體芯片，需求最旺盛的即是訓(xùn)練芯片。而對(duì)訓(xùn)練芯片而言，又可以分為GPGPU和ASIC兩類技術(shù)路線。

先說GPGPU技術(shù)路線，它從GPU發(fā)展而來，是GPU去掉圖形處理能力，提升并行計(jì)算能力之后的產(chǎn)物，其最大的特點(diǎn)就是可適合絕大多數(shù)AI計(jì)算場(chǎng)景，通用性強(qiáng)，也更利于算力新基建的規(guī)模化發(fā)展。特別是在大模型計(jì)算日益復(fù)雜的今天，絕大多數(shù)AI算力都依靠GPGPU供給，使用GPGPU 在云端運(yùn)行模型訓(xùn)練算法，能夠縮短海量訓(xùn)練數(shù)據(jù)的訓(xùn)練時(shí)長(zhǎng)，減少能源消耗，進(jìn)一步降低人工智能的應(yīng)用成本，其在智能工廠、無人駕駛、智慧城市等領(lǐng)域具有廣泛的市場(chǎng)空間。據(jù)統(tǒng)計(jì)，目前GPGPU 占據(jù)人工智能90%以上的市場(chǎng)份額。

再說ASIC這條技術(shù)路線，它是一種為特定場(chǎng)景專門設(shè)計(jì)的集成電路，比如NPU。與GPGPU不同的是，ASIC芯片需要結(jié)合大模型算法做定向開發(fā)和調(diào)配，因此通用性沒有GPGPU那么強(qiáng)，這也直接導(dǎo)致算力基建上的規(guī)模化應(yīng)用較低。

因此，此次《行動(dòng)計(jì)劃》的發(fā)布，從某種程度也說明了加快發(fā)展GPGPU的作用之大，意義之深遠(yuǎn)。換言之，GPGPU需肩負(fù)起的算力新基建重任也尤為明顯。