Habana Gaudi2和第四代英特爾至強可擴展處理器為AI訓練提供領先的性能并大幅節約成本

今日，MLCommons公布其行業AI性能基準測試MLPerf訓練3.0的結果，其中，Habana? Gaudi? 2深度學習加速器與第四代英特爾?至強?可擴展處理器展現出令人印象深刻的訓練結果。

英特爾執行副總裁兼數據中心與人工智能事業部總經理Sandra Rivera表示：“最新由MLCommons發布的MLPerf結果驗證了使用英特爾至強可擴展處理器和英特爾Gaudi深度學習加速器，可以在AI領域為客戶帶來更高的性價比（TCO）。其中，至強的內置加速器使其成為在通用處理器上運行大量AI工作負載的理想解決方案，而Gaudi則為大語言模型和生成式AI提供了極具競爭力的優異性能。此外，英特爾的可擴展系統配備了經過優化的、易于編程的開放軟件，可降低客戶和生態伙伴在數據中心部署從云到智能邊緣各種基于AI的解決方案的門檻。”

目前，業內普遍認為生成式AI和大語言模型（LLMs）僅適宜在GPU上運行。然而，最新的數據顯示，基于英特爾產品組合的AI解決方案，能夠為在封閉生態系統中尋求擺脫當前效率與規模限制的客戶提供極具競爭力的選擇。

最新的MLPerf訓練3.0結果展現了英特爾產品在一系列深度學習模型上的優異性能。在大語言模型GPT-3上，基于Gaudi2的軟件與系統在AI訓練成熟度上得到了大規模驗證。值得一提的是，Gaudi2是僅有的兩個向GPT-3大模型訓練基準提交性能結果的解決方案之一。

與此同時，Gaudi2還為客戶提供了極具競爭力的成本優勢，包括服務器和系統成本。其在GPT-3、計算機視覺和自然語言模型上經由MLPerf驗證的杰出性能，以及即將推出的軟件，使Gaudi2成為業界一個極具吸引力與性價比解決方案。

在CPU方面，第四代至強可擴展處理器采用英特爾AI引擎，其深度學習訓練性能的結果表明，客戶可以使用基于至強的服務器，構建一個通用AI系統以用于數據預處理、模型訓練和部署，從而獲得兼具AI性能、效率、準確性和可擴展性的最優組合。

關于Habana Gaudi2的測試結果： 訓練生成式AI和大語言模型需要服務器集群來滿足大規模的計算要求。最新MLPerf結果切實驗證了Habana Gaudi2在要求極為苛刻的模型——1750億參數的GPT-3上的出色性能以及高效的可擴展性。

測試亮點：

? Gaudi2在GPT-3*上實現了令人印象深刻的訓練時間： 在384個加速器上的訓練時間為311分鐘。

? 在GPT-3模型上，從256個加速器到384個加速器實現近線性95%的擴展效果。

? 在計算機視覺模型ResNet-50（8個加速器）和Unet3D（8個加速器）以及自然語言處理模型BERT（8個和64個加速器）上取得了優異的訓練結果。

? 與去年11月提交的數據相比，BERT和ResNet模型的性能分別提高了10%和4%，證明Gaudi2軟件成熟度的提升。

? Gaudi2支持“開箱即用”功能，客戶在本地或在云端使用Gaudi2時，可以獲得與本次測試相當的性能結果。

Habana? Gaudi?2夾層卡

關于Gaudi2的軟件成熟度： Gaudi的軟件支持在持續發展和成熟，并能與日益增長的生成式AI及大語言模型的需求保持同步。

? 本次提交的GPT-3模型基于PyTorch，并采用了當前流行的、隸屬微軟大規模AI的DeepSpeed優化庫，而非定制軟件。DeepSpeed能夠同時支持Data、Tensor和Pipeline的三維并行，進一步優化了大語言模型的擴展性能效率。

? 本次MLPerf 3.0的Gaudi2結果以BF16數據類型已提交。預計在2023年第三季度發布對FP8的軟件支持與新功能時，Gaudi2的性能將有明顯飛躍。

關于第四代至強可擴展處理器的測試結果：作為眾多解決方案中唯一提交的基于CPU的解決方案，MLPerf結果表明，英特爾至強可擴展處理器為企業提供了“開箱即用”的功能，可以在通用系統上部署AI，避免了引入專用AI系統的高昂成本和復雜性。

對于少數從頭開始間歇性訓練大模型的用戶，他們可以使用通用CPU，并且通常是在已經完成部署的、基于英特爾的服務器上運行其業務。此外，大多數人將采用預先訓練好的模型，并用小型數據集對其進行微調。英特爾發布的結果表明，通過使用英特爾AI軟件以及標準的行業開源軟件，這種微調可以在短短幾分鐘內完成。

MLPerf測試亮點：

? 在封閉區，第四代至強可以分別在50分鐘以內（47.93分鐘）和90分鐘以內（88.17分鐘）的時間里訓練BERT和ResNet-50模型。

? 對于BERT模型的開放區，結果顯示，當擴展至16個節點時，第四代至強能夠在大約30分鐘左右（31.06分鐘）完成模型訓練。

? 對于較大的RetinaNet模型，第四代至強能夠在16個節點上實現232分鐘的訓練時間，使客戶能夠靈活地使用非高峰期的至強周期來訓練其模型，即可以在早晨、午餐或者夜間進行模型訓練。

? 具備英特爾?高級矩陣擴展（Intel? AMX）的第四代英特爾至強可擴展處理器提供了顯著的“開箱即用”性能提升，其范圍覆蓋了多個框架、端到端數據科學工具，以及廣泛的智能解決方案生態系統。

第四代英特爾?至強?可擴展處理器

MLPerf被普遍認為是最具信服力的AI性能測試基準，能夠在各種解決方案之間進行公平、可重復的性能比較。目前，英特爾已擁有超100次性能結果，且是唯一一個使用行業標準的深度學習生態系統軟件，并公開提交CPU結果的廠商。

該結果亦展示了使用極具性價比，且隨時可用的英特爾以太網800系列網絡適配器，可以實現出色的擴展效率，此類適配器采用基于英特爾oneAPI的開源英特爾?以太網軟件包。