字節(jié)向英偉達(dá)拋出10億橄欖枝，背后的商業(yè)信號已擺上桌面
不過首批上市的是RTX 4060 Ti 8GB，其他兩款要到7月份才上市。
2023年了，3000多的顯卡配8GB顯存夠不夠？這個話題也引發(fā)了很多爭議，畢竟上代的RTX 3060后來都給了12GB顯存，4K分辨率下還能打，而8GB的RTX 4060 Ti顯卡被吐槽為1080p戰(zhàn)神。
1、從砍單到加購，同時內(nèi)部騰挪
今年春節(jié)后，擁有云計算業(yè)務(wù)的中國各互聯(lián)網(wǎng)大公司都向英偉達(dá)下了大單。字節(jié)今年向英偉達(dá)訂購了超過10億美元的GPU，另一家大公司的訂單也至少超過10億元人民幣。僅字節(jié)一家公司今年的訂單可能已接近英偉達(dá)去年在中國銷售的商用GPU總和。
僅字節(jié)一家公司今年的訂單可能已接近英偉達(dá)去年在中國銷售的商用 GPU 總和。去年 9 月，美國政府發(fā)布對 A100、H100（英偉達(dá)最新兩代數(shù)據(jù)中心商用 GPU） 的出口限制時，英偉達(dá)曾回應(yīng)稱這可能影響去年四季度它在中國市場的 4 億美元（約合 28 億元人民幣）潛在銷售。以此推算，2022 年全年英偉達(dá)數(shù)據(jù)中心 GPU 在中國的銷售額約為 100 億元人民幣。
相比海外巨頭，中國大科技公司采購 GPU 更為急迫。過去兩年的降本增效中，一些云計算平臺減少了 GPU 采購，儲備不足。此外，誰也不敢保證，今天能買的高性能 GPU，明天會不會就受到新的限制。
阿里也曾在 2018-2019 年積極采購 GPU。一位阿里云人士稱，當(dāng)時阿里的采購量至少達(dá)到上萬塊規(guī)模，購買的型號主要是 V100 和英偉達(dá)更早前發(fā)布的 T4。不過這批 GPU 中只有約十分之一給到了達(dá)摩院用作 AI 技術(shù)研發(fā)。2021 年發(fā)布萬億參數(shù)大模型 M6 后，達(dá)摩院曾披露訓(xùn)練 M6 使用了 480 塊 V100。
阿里當(dāng)時購買的 GPU，更多給到了阿里云用于對外租賃。但包括阿里云在內(nèi)，一批中國云計算公司都高估了中國市場的 AI 需求。一位科技投資人稱，大模型熱潮之前，國內(nèi)主要云廠商上的 GPU 算力不是緊缺，而是愁賣，云廠商甚至得降價賣資源。去年阿里云先后降價 6 次，GPU 租用價下降超兩成。
在降本增效，追求 “有質(zhì)量的增長” 與利潤的背景下，據(jù)了解，阿里在 2020 年之后收縮了 GPU 采購規(guī)模，騰訊也在去年底砍單一批英偉達(dá) GPU。
然而沒過多久后的 2022 年初，ChatGPT 改變了所有人的看法，共識很快達(dá)成：大模型是不容錯過的大機(jī)會。
各公司創(chuàng)始人親自關(guān)注大模型進(jìn)展：字節(jié)跳動創(chuàng)始人張一鳴開始看人工智能論文；阿里巴巴董事局主席張勇接手阿里云，在阿里云峰會發(fā)布阿里大模型進(jìn)展時稱，“所有行業(yè)、應(yīng)用、軟件、服務(wù)，都值得基于大模型能力重做一遍”。
一名字節(jié)人士稱，過去在字節(jié)內(nèi)部申請采購 GPU 時，要說明投入產(chǎn)出比、業(yè)務(wù)優(yōu)先級和重要性。而現(xiàn)在大模型業(yè)務(wù)是公司戰(zhàn)略級別新業(yè)務(wù)，暫時算不清 ROI 也必須投入。
研發(fā)自己的通用大模型只是第一步，各公司的更大目標(biāo)是推出提供大模型能力的云服務(wù)，這是真正可以匹配投入的大市場。
2、英偉達(dá)是最大的人工智能芯片生產(chǎn)商
英偉達(dá)目前生產(chǎn)用于AI開發(fā)的絕大多數(shù)GPU，由于AI工具需要大量數(shù)據(jù)和強(qiáng)大的處理能力，而僅構(gòu)建一個AI系統(tǒng)可能需要數(shù)千個芯片，因此英偉達(dá)的需求急劇上升。
雖然英偉達(dá)最初專注于為視頻游戲行業(yè)制造GPU，但近年來，這家芯片制造商已擴(kuò)展到人工智能和加密貨幣挖掘領(lǐng)域，擴(kuò)大了其產(chǎn)品和服務(wù)范圍。
最近，英偉達(dá)的人工智能芯片幫助其數(shù)據(jù)中心部門的收入超過了游戲部門。這甚至促使英偉達(dá)為數(shù)據(jù)中心提供新一代AI芯片，承諾大幅提升性能。
5月英偉達(dá)宣布了DGX H100系統(tǒng)。英偉達(dá)表示，該產(chǎn)品采用八個通過NVLink連接的H100張量核心GPU，以及雙英特爾至強(qiáng)白金8480C處理器，2TB系統(tǒng)內(nèi)存和30tb NVMe固態(tài)硬盤。
盡管努力滿足不斷增長的需求，但英偉達(dá)仍發(fā)現(xiàn)需求超過供應(yīng)。
3、全世界都在搶算力
對英偉達(dá)數(shù)據(jù)中心 GPU 的競賽也發(fā)生在全球范圍。不過海外巨頭大量購買 GPU 更早，采購量更大，近年的投資相對連續(xù)。
2022 年，Meta 和甲骨文就已有對 A100 的大投入。Meta 在去年 1 月與英偉達(dá)合作建成 RSC 超級計算集群，它包含 1.6 萬塊 A100。同年 11 月，甲骨文宣布購買數(shù)萬塊 A100 和 H100 搭建新計算中心。現(xiàn)在該計算中心已部署了超 3.27 萬塊 A100，并陸續(xù)上線新的 H100。
微軟自從 2019 年第一次投資 OpenAI 以來，已為 OpenAI 提供數(shù)萬塊 GPU。今年 3 月，微軟又宣布已幫助 OpenAI 建設(shè)了一個新計算中心，其中包括數(shù)萬塊 A100。Google 在今年 5 月推出了一個擁有 2.6 萬塊 H100 的計算集群 Compute Engine A3，服務(wù)想自己訓(xùn)練大模型的公司。
中國大公司現(xiàn)在的動作和心態(tài)都比海外巨頭更急迫。以百度為例，它今年向英偉達(dá)新下的 GPU 訂單高達(dá)上萬塊。數(shù)量級與 Google 等公司相當(dāng)，雖然百度的體量小得多，其去年營收為 1236 億元人民幣，只有 Google 的 6%。
據(jù)了解，字節(jié)、騰訊、阿里、百度這四家中國投入 AI 和云計算最多的科技公司，過去 A100 的積累都達(dá)到上萬塊。其中字節(jié)的 A100 絕對數(shù)最多。不算今年的新增訂單，字節(jié) A100 和前代產(chǎn)品 V100 總數(shù)接近 10 萬塊。
成長期公司中，商湯今年也宣稱，其 “AI 大裝置” 計算集群中已總共部署了 2.7 萬塊 GPU，其中有 1 萬塊 A100。連看似和 AI 不搭邊的量化投資公司幻方之前也購買了 1 萬塊 A100。
僅看總數(shù)，這些 GPU 供各公司訓(xùn)練大模型似乎綽綽有余——據(jù)英偉達(dá)官網(wǎng)案例，OpenAI 訓(xùn)練 1750 億參數(shù)的 GPT-3 時用了 1 萬塊 V100 ，訓(xùn)練時長未公開；英偉達(dá)測算，如果用 A100 來訓(xùn)練 GPT-3 ，需要 1024 塊 A100 訓(xùn)練 1 個月，A100 相比 V100 有 4.3 倍性能提升。但中國大公司過去采購的大量 GPU 要支撐現(xiàn)有業(yè)務(wù)，或放在云計算平臺上售賣，并不能自由地用于大模型開發(fā)和對外支持客戶的大模型需求。
這也解釋了中國 AI 從業(yè)者對算力資源估算的巨大差別。清華智能產(chǎn)業(yè)研究院院長張亞勤 4 月底參加清華論壇時說，“如果把中國的算力加一塊，相當(dāng)于 50 萬塊 A100，訓(xùn)練五個模型沒問題。”AI 公司曠視科技 CEO 印奇接受《財新》采訪時則說：中國目前可用作大模型訓(xùn)練的 A100 總共只有約 4 萬塊。
主要反映對芯片、服務(wù)器和數(shù)據(jù)中心等固定資產(chǎn)投資的資本開支，可以直觀說明中外大公司計算資源的數(shù)量級差距。
最早開始測試類 ChatGPT 產(chǎn)品的百度，2020 年以來的年資本開支在 8 億到 20 億美元之間，阿里在 60-80 億美元之間，騰訊在 70-110 億美元之間。同期，亞馬遜、Meta、Google、微軟這四家自建數(shù)據(jù)中心的美國科技公司的年資本開支最少均超過 150 億美元。
疫情三年中，海外公司資本開支繼續(xù)上漲。亞馬遜去年的資本開支已來到 580 億美元，Meta、Google 均為 314 億美元，微軟接近 240 億美元。中國公司的投資在 2021 年之后則在收縮。騰訊、百度去年的資本開支均同比下滑超 25%。
訓(xùn)練大模型的 GPU 已不算充足，各家中國公司如果真的要長期投入大模型，并賺到給其它模型需求 “賣鏟子” 的錢，未來還需要持續(xù)增加 GPU 資源。
3、走得更快的 OpenAI 已遇到了這一挑戰(zhàn)
5 月中旬，OpenAI CEO SamAltman 在與一群開發(fā)者的小范圍交流中說，由于 GPU 不夠，OpenAI 現(xiàn)在的 API 服務(wù)不夠穩(wěn)定，速度也不夠快，在有更多 GPU 前，GPT-4 的多模態(tài)能力還無法拓展給每個用戶，他們近期也不準(zhǔn)備發(fā)布新的消費級產(chǎn)品。技術(shù)咨詢機(jī)構(gòu) TrendForce 今年 6 月發(fā)布報告稱，OpenAI 需要約 3 萬塊 A100 來持續(xù)優(yōu)化和商業(yè)化 ChatGPT。
與 OpenAI 合作頗深的微軟也面臨類似情境：今年 5 月，有用戶吐槽 New Bing 回答速度變慢，微軟回應(yīng)，這是因為 GPU 補(bǔ)充速度跟不上用戶增長速度。嵌入了大模型能力的微軟 Office 365 Copilot 目前也沒有大規(guī)模開放，最新數(shù)字是有 600 多家企業(yè)在試用——Office 365 的全球總用戶數(shù)接近 3 億。
中國大公司如果不是僅把訓(xùn)練并發(fā)布一個大模型作為目標(biāo)，而是真想用大模型創(chuàng)造服務(wù)更多用戶的產(chǎn)品，并進(jìn)一步支持其它客戶在云上訓(xùn)練更多大模型，就需要提前儲備更多 GPU。
