訓練大模型，英偉達GPU不再是唯一選項。

作者｜趙健

7月11日，英特爾在北京舉辦AI產品战略暨Gaudi2新品發布會，正式於中國市場推出第二代深度學習加速器——Habana Gaudi2。

Habana是成立於2016年的AI芯片廠商，總部位於以色列，爲數據中心提供可編程深度學習加速器。Habana在2019年推出了第一代Gaudi芯片，並在這一年12月被其早期投資人英特爾收購。

其實在2022年5月，英特爾已經發布過Gaudi2。而這一次在北京的產品發布，是面向中國市場的“定制版”，類似英偉達推出A100與H100的定制版A800與H800。

英特爾執行副總裁兼數據中心與人工智能事業部總經理Sandra Rivera強調，Gaudi2是完全合法合規的。

在性能方面，這款中國定制版訓練最主要的性能裁剪在於網絡端口。Gaudi2有21個百兆端口，而國際版有24個。不過，英特爾Habana Labs首席運營官Eitan Medina表示，“從客戶使用情況來看，預計影響會非常小”。

Gaudi2的推出，爲訓練大模型提供了英偉達之外的替代方案。在此之前，英偉達的GPU芯片——A100與H100，幾乎壟斷了訓練大模型的市場。供需的極度不平衡也讓GPU一芯難求。

相比英偉達GPU，Gaudi2最顯著的優勢在於“更高的性價比”。英特爾表示，將致力於爲中國用戶提供更高的深度學習性能和效率，從而成爲大規模部署AI的更優解。

目前，英特爾正與浪潮信息合作，打造並發售基於Gaudi2深度學習加速器的浪潮信息AI服務器。此外，新華三與超聚變也是英特爾的合作夥伴。

1.用性價比挑战英偉達

目前，業內普遍認爲生成式AI和大語言模型僅適宜在GPU上運行。但英特爾Gaudi2正在向英偉達發起挑战。

Gaudi2深度學習加速器暨Gaudi2夾層卡HL-225B，以第一代Gaudi高性能架構爲基礎，採用了台積電7nm工藝，專爲訓練大語言模型而構建。該加速器具備：

24個可編程Tensor處理器核心（TPCs）

21個100 Gbps（RoCEv2）以太網接口

96GB HBM2E內存容量

2.4TB/秒的總內存帶寬

48MB片上SRAM

集成多媒體處理引擎

演講者爲英特爾執行副總裁兼數據中心與人工智能事業部總經理Sandra Rivera

Gaudi2真實性能表現如何？在發布會現場，英特爾多次與英偉達進行參數對比。 在6月公布的MLCommons MLPerf基准測試（被普遍認爲是最具信服力的AI性能測試基准）結果中，Gaudi2在GPT-3模型、計算機視覺模型ResNet-50（使用8個加速器）、Unet3D（使用8個加速器），以及自然語言處理模型BERT（使用8個和64個加速器）上均取得了比A100更優異的結果，但還弱於H100。

演講者爲英特爾Habana Labs首席運營官Eitan Medina

不僅如此，Gaudi2在性價比上更具優勢。 在MLCommons剛剛公布的MLPerf訓練3.0結果中，Gaudi2在1750億參數的GPT-3模型上，從256個加速器到384個加速器可實現接近线性的95%擴展效果。 英特爾表示，Gaudi2的每瓦性能大約是A100的兩倍。而隨着性能的進一步優化，英特爾預計在今年9月，Gaudi2的性價比將會超過H100。 值得一提的是，Gaudi2是僅有的兩個向GPT-3大模型訓練基准提交性能結果的解決方案之一。 英特爾Habana Labs首席運營官Eitan Medina強調：“這說明了其他半導體廠商還無法構建針對GPT-3的解決方案”。 除了模型的訓練，還需要模型的推理。Gaudi2可爲大規模的多模態和語言模型提供出色的推理性能。 在最近的Hugging Face評估中，Gaudi2在大規模推理方面的表現，包括在運行Stable Diffusion、70億以及1760億參數BLOOMz模型時，都在行業內保持領先。 其中，與英偉達A100相比，Stable Diffusion推理時延降低2.21倍。 值得一提的是，下一代Gaudi3預計在明年推出，採用台積電5nm工藝。

2.英特爾的AI战略 英特爾擁有龐大豐富的產品线，Gaudi2並非唯一的AI產品。 針對AI在不同場景、不同環節的異構計算需求，英特爾將其產品线分爲通用計算與加速計算。 其中，英特爾的CPU產品，第四代至強處理器解決通用計算，滿足客戶在大部分模型較小場景的AI推理需求；Gaudi2解決加速計算，解決大模型的訓練及推理需求。 在通用計算層面，第四代英特爾至強可擴展處理器（英特爾AMX）爲廣泛的AI負載和用例提供10倍的推理和訓練性能以及代際性能提升，同時每瓦性能比也比前代提高7.7倍。 在6月底公布的MLPerf訓練3.0結果表明，第四代至強可擴展處理器爲企業提供了“开箱即用”的功能，可以在通用系統上部署AI，避免了引入專用AI系統的高昂成本和復雜性。 第四代至強可擴展處理器也能夠支持Stable Diffusion。英偉達DGX H100系統也會選擇搭配英特爾CPU，從而爲企業級AI提供高速、高能效並節省成本。 百度、美團是英特爾AMX的客戶。英特爾AMX助力百度文心一言輕量版ERNIE-Tiny性能提升2.66倍，助力美團加速視覺AI推理服務，成本降低80%。 值得一提的是，在加速計算層面，英特爾除了推出人工智能專用芯片Gaudi2之外，也在2022年推出了面向數據中心的的GPU Max系列（代號爲Ponte Vecchio）。兩款產品在AI計算層面存在一定的重合度。 對此，英特爾透露會在2025年把Gaudi產品线與GPU產品线整合爲統一架構的新產品，並帶來更好的軟件適配能力與AI處理能力。 此外，正如英偉達依靠CUDA構建護城河，英特爾也在加強軟件开發生態的支持。 英特爾推出的軟件套件針對Gaudi平台深度學習業務進行了優化，集成了對TensorFlow和PyTorch框架的支持，並面向400多個機器學習和深度學習AI模型進行驗證，涵蓋每個業務領域使用的最常見AI用例。 總結來看，英特爾正在通過異構產品組合、开放式的軟件棧以及用於大模型訓練的Gaudi2集群，來降低人工智能的准入門檻，來滿足龐大的市場需求。 芯片是大模型訓練及推理的基礎設施，也是這場大模型淘金熱必不可少的“鏟子”。如今，隨着主流半導體巨頭紛紛布局，這場大模型的芯片战已經徹底打響了。

END.

追加內容

本文作者可以追加內容哦 !