自去年年底大模型“熱潮”席卷而來，半導體業內對于大模型需要什么樣的硬件的問題眾說紛紜。當前國內外大模型的數量已發展到以百千計，大模型參數量也發展到千億級。在這種趨勢下，算力芯片究竟該如何適應大模型不斷增長的算力需求？


從集群的角度看問題：提高帶寬與存儲

“大模型時代，從單卡效率看問題的視角已經落伍了，對硬件設備的審視要更多地從集群的角度去看。” 燧原科技產品市場總經理高平在接受《中國電子報》采訪時說道。

在當前計算機采用的馮·諾依曼的體系架構下，計算和存儲是分離的。一項任務的完成，既需要高算力，又需要大存儲量和高效互聯作為支持。長期以來，廠商對于處理器效率提升的關注點都放在算力上。而大模型訓練，動輒需要上千張甚至上萬張算力芯片組成的集群。這使得原本沒有特別受到重視的存儲量和帶寬一下子成為制約集群效率的瓶頸，也成為各廠商最為關注的技術指標。

沐曦集成電路（上海）有限公司聯合創始人、CMO孫爾俊在接受《中國電子報》記者采訪時表示，大模型需要緩存上千億的參數量，單個芯片的存儲量越大，整個集群所需要的芯片數量就越少，片間花費的傳輸時間就相應地會更低，從而更有利于提高整個集群的計算效率。這意味著，如果單卡存儲容量不夠，原本用1000張卡就能完成加速的工作，需要擴展到更多的芯片上完成，卡間互聯所需要的時間會被拉長，整個系統的效率也由此降低。

片間帶寬是另一個備受關注的指標。芯片存儲量和片間互聯帶寬，就像是支撐大模型硬件基礎的一體兩面。如果把大模型訓練比作貨物運輸的過程，存儲量就像是每輛卡車的裝載量，而帶寬就像是高速公路的并行車道數。二者共同決定了整個訓練任務多久才能完成。

由此，如何提高算力芯片的單片存儲和片間帶寬，成為算力芯片廠商需要考慮的問題。

在提高芯片存儲量方面，業界采取的依然是提升晶體管密度和加大存儲面積兩種思路。一方面采用更先進的工藝，另一方面采用3D封裝，將存儲貼在芯片上。

相比之下，帶寬提升更困難一些。高平表示：“帶寬提升在很長時間內都是芯片設計領域的難點。相比于算力成倍數的提升，帶寬的提升一直不大。工藝功耗等因素限制了數據傳輸的時鐘頻率，成本與芯片面積限制了傳輸的通道數量。”因此，業界出現了許多另辟蹊徑的討論，例如通過使存儲與計算模塊靠得更近以縮短傳輸距離，或者采取改變計算與存儲排列方式的存算一體的架構等。

天數智芯副總裁鄒翾分享了天數的經驗——通過優化算法、片間通訊協議和通訊物理層來系統化的緩解帶寬瓶頸：“流行的大模型算法在硬件工程化中還有很多的調優空間，框架層有多種拓撲結構可以平衡單點計算與傳輸速度，有效降低帶寬需求；互聯技術方面，我們在協議層也采用了私有的協議，可以提高有效數據傳輸的效率；在物理層未來可供選擇的非電技術也有進一步提升帶寬的空間。”他還提到，未來應用的性能需要在系統架構上優化。一來大模型的工作負載可以結合節點配置的情況和傳輸能力進行調整，二來傳輸方式可以不僅限于電互聯，還可以利用光互聯等其他技術。軟硬件系統級聯合調優還有很大的空間，可以進一步壓縮對于芯片硬件帶寬的需求。


提升“軟”實力：優化工具與云服務

“對于很多客戶來說，硬件就是個黑盒子，他們并不關心芯片內部的架構是什么樣的。他們直接接觸的，是產品的軟件。”一位算力芯片領域資深專家告訴《中國電子報》記者，“與全球算力芯片領軍企業相比，算力芯片的后起之秀們在硬件上實現趕超相對容易，軟件反而是短板。”

“好用”，是大模型對算力芯片軟件棧最基礎的要求。

這個要求在大模型出現之前便已經存在。大模型的“遍地開花”對于軟件的要求并沒有根本性的變化，仍需要相適配的軟件持續調優。

軟件的優化，最需要客戶與算力芯片企業的協同。作為算力芯片軟件配套方面的“老大哥”，英偉達CUDA的制勝秘訣，就是擁有相當數量的客戶群體，并充分了解客戶需求。通過與客戶溝通，持續進行軟件調優，使產品更好用、更易用。

而對于國內算力芯片企業而言，不少企業接到的單個訂單量比較大，足夠維持企業的正常運轉，但客戶數量較少，這對于發展企業自己的軟件棧并不是一件好事。“從軟件的角度來說，一個客戶無論買100張卡還是買10張卡，能夠給我們帶來的反饋是一樣的。我們希望有更多的企業給我們具體的反饋，這樣軟件迭代優化的速度也會更快。” 某算力芯片企業表示。

能不能做得像英偉達CUDA一樣？這是算力芯片企業最常被問到的問題。

對于獨立開發軟件的企業而言，由于客戶已經形成了使用CUDA的習慣，為了幫助客戶盡快適應從CUDA軟件向新環境的遷移，在自研軟件的界面設計上，會主動選擇貼合客戶使用習慣的設計，從而幫助客戶更輕松地完成遷移。

“加大在軟件上的投入，已經是一個共識。幾乎所有AI芯片公司軟件團隊一定比硬件團隊人更多、投入更大。芯片公司越來越像軟件公司，將研發的重點放在軟件棧上面。”業界專家表示。

此外，提供云服務也是算力芯片企業提升影響力、拓展客戶面的重要實現方式。成本低是云服務的核心優勢。對于一些初創企業或者是規模較小的團隊而言，購買算力芯片需要的成本較高，而通過云租賃的方式獲得算力資源，可以以較低的成本緩解算力不足的問題。當前，谷歌、英偉達、阿里云、金山云等都已經具備為大模型提供云端算力的能力。

大算力芯片的核心能力：通用、通用，還是通用

1、系統越來越大，對通用靈活性的要求遠高于對性能的要求

在云和邊緣數據中心，都是清一色的服務器。這些服務器，可以服務各行各業、各種不同類型的場景的服務端工作任務的處理。CSP每年投入數以億計資金，上架數以萬計的各種型號、各種配置的服務器的時候，嚴格來說，它并不知道，具體的某臺服務器最終會售賣給哪個用戶，這個用戶到底會在服務器上面跑什么應用。并且，未來，這個用戶的服務器資源回收之后再賣個下一個用戶，下一個用戶又用來干什么，也是不知道的。因此，對CSP來說，最理想的狀態是，存在一種服務器，足夠通用，即不管是哪種用戶哪種應用運行其上，都足夠高效快捷并且低成本。只有這樣，系統才夠簡單而穩定，運維才能簡單并且高效。然后要做的，就是把這種服務器大規模復制（大規模復制意味著單服務器成本的更快速下降）。

云和邊緣服務器場景，對系統的靈活性的要求遠高于對性能的要求，需要提供的是綜合性的通用解決方案。最直接的例子就是以CPU為核心的服務器：CPU通用靈活性是最好的，如果CPU的性能夠用，大家絕對不喜歡用各種加速；如今是CPU性能不夠，逼迫著大家不得不去使用各種硬件加速。

數據中心硬件加速最大的教訓是：在提升性能的同時，最好不要損失系統的靈活性。其言下之意就是：目前各類加速芯片的優化方案損失了靈活性，從而使得芯片的落地很困難。這是目前全行業的痛點所在。


2、集群計算，對芯片的彈性可擴展能力提出了更高的要求

傳統的情況下，一個芯片對應一個系統。我們關注業務常見的需求，并把它實現在芯片的功能和特征里。但在集群計算，特別是目前云網邊端不斷融合的超大集群計算形式下，則需要關注的是“以不變應萬變”，即足夠通用的、數以萬計的計算設備組成的大規模計算集群，如何去覆蓋數以百萬計的眾多計算場景的問題。

這樣，對芯片內的資源彈性和芯片的可擴展性就提出了很高的要求，我們需要把數以萬計的計算芯片的計算資源合并到一個計算資源池，然后還可以非常方便的快速切分和重組，供不同規格計算任務的使用。

3、芯片研發成本越來越高，需要芯片的大規模落地，來攤薄研發成本

摩爾定律預示了：芯片工藝的發展，會使得晶體管數量大約每兩年提升一倍。雖然工藝的進步逐步進入瓶頸，但Chiplet越來越成為行業發展的重點，這使得芯片的晶體管數量可以再一次數量級的提升。

在先進工藝的設計成本方面，知名半導體研究機構Semiengingeering統計了不同工藝下芯片所需費用（費用包括了）：

28nm節點開發芯片只需要5130萬美元；

16nm節點則需要1億美元；

7nm節點需要2.97億美元；

到了5nm節點，費用高達5.42億美元；

3nm節點的研發費用，預計將接近10億美元。

就意味著，大芯片需要足夠通用，足夠大范圍落地，才能在商業邏輯上成立。做一個保守的估算：

終端場景，（大）芯片的銷售量至少需要達到數千萬級才能有效攤薄一次性的研發成本；

在數據中心場景，則需要50萬甚至100萬以上的銷售量，才能有效攤薄研發成本。


最后

全新的AI時代正呼嘯而來，海量數據洪流和大模型應用需求爆發將繼續拉動算力規模成倍增長。

盡管目前主流的算力方案仍是英偉達一騎絕塵，但從長遠計，我國通用GPU企業大有可為。對算力需求的激增提供了一個巨大市場，此時國外計算芯片供應緊張和出口限制，又將為國內芯片公司提供更多的機會。

這對于國產芯努力構建自主創新架構、滿足市場對性價比和能效比的多元需求，無疑是一個極佳的時間窗口。誰能率先拿出完善的國產化替代方案，誰便能從龐大的AI算力市場分一杯羹。