作爲AI芯片和計算系統的主要供應商,英偉達已躍升爲全球市值最高的上市半導體公司。近日英偉達CEO在COMPUTEX大會上更是接連甩出了多項重磅新品,包括GH200超級芯片、大內存生成式AI超級計算機DGX GH200……
GH200超級芯片
其中,Grace Hopper超級芯片GH200已經全面投產。這些芯片是英偉達新推出的DGX GH200人工智能超級計算平台和 MGX 系統的核心組件,它們專爲處理海量的生成型人工智能任務而設計。
GH200是英偉達开發的基於Arm架構的CPU+GPU集成方案,它將72核的Grace CPU、Hopper GPU、96GB 的HBM3和512 GB的LPDDR5X集成在同一個封裝中,共有2000億個晶體管。這種組合提供了CPU和GPU之間驚人的數據帶寬,高達1TB /s,爲某些內存受限的工作負載提供了巨大的優勢。
圖源:英偉達
DGX GH200超級計算機
DGX GH200人工智能超級計算機則集成了英偉達最先進加速計算和網絡技術。
這款超算專爲大規模生成式AI的負載所設計,由256塊GH200超級芯片組成,擁有1 exaflop超凡AI性能、144TB內存(是英偉達目前DGX A100系統的近500倍)、150英裏光纖、2000多個風扇。
預計DGX GH200將於今年年底投入問世,英偉達暫未公布價格,而谷歌雲、Meta與微軟將是首批用戶。
同時,英偉達也正在打造自家基於DGX GH200的大型AI超級計算機NVIDIA Helios,以支持其研究和开發團隊的工作。其中採用4個DGX GH200系統、1024顆Grace Hopper超級芯片,每個都將與英偉達Quantum-2 InfiniBand網絡連接,帶寬高達400Gb/s,將於今年年底上线。
圖源:英偉達
CPU成本、功耗、處理數據量不如GPU
在本次大會上,英偉達CEO還以數據中心成本架構比較,直言以GPU建置的數據中心將遠低於 CPU,強調买越多、省越多 (The more you buy, the more you save.)。
英偉達CEO指出,盡管CPU過去幾年指令周期不斷提升,但進入AI時代後,以CPU爲運算基礎的時代已經結束,現在大型語言模型 (LLM) 需要更新的解決方案。
假設建置數據中心預算爲 1000萬美元,可以選擇建置1座搭載 960顆CPU、功耗達 11GW 的數據中心,抑或是選擇建置 1 座有 48 顆 GPU、功耗僅需 3.2GW 的數據中心,且 LLM 數據處理量是 CPU 的 44 倍。
若以處理同樣數據量的大型語言模型 (LLM) 來看,可以選擇斥資 1000 萬美元,建置 1 座搭載 960 顆 CPU、功耗達 11GW 的數據中心,抑或是選擇只花費 40 萬美元,建置 1 台需要 2 顆 GPU、功耗僅需 0.13GW 的數據中心。
5月25日,英偉達公布了明顯高於華爾街預期的季度營收預測,此後該公司股價在一天內飆升24%。季度報告表明,營收的上漲主要受惠於雲計算平台和大型科技公司對GPU芯片的需求。
END
注:本文綜合科創板日報、鉅亨網等,文章僅供參考學習和交流之用,不構成任何建議,不代表本號立場。
本文作者可以追加內容哦 !
鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播信息之目的,不構成任何投資建議,如有侵權行為,請第一時間聯絡我們修改或刪除,多謝。
標題:英偉達放大招:超級芯片GH200全面投產、含256個GPU的AI超算首批用戶已定!
地址:https://www.breakthing.com/post/63026.html