眼看着 ChatGPT 持續爆火了幾個月,期間微軟、谷歌、Meta 等科技巨頭接連入局,如今英特爾也終於官宣“參賽”。

在德國漢堡舉行的國際超級計算大會 (ISC) 高性能會議 (HPC)上,英特爾不JJJJ*展示了其在 HPC 和 AI 工作負載方面的性能,還宣布了一項出人意料的計劃:與阿貢國家實驗室攜手,用 Aurora 超級計算機开發生成式 AI 模型 Aurora genAI,參數量將多達 1 萬億!

要知道,ChatGPT 的參數規模爲 1750 億,即 Aurora genAI 模型將比它至少大 5 倍。

AI 模型將由 Aurora 超算提供算力 

據了解,英特爾 Aurora genAI 模型將以兩個框架爲基礎:NVIDIA 的 Megatron 和微軟的 DeepSpeed。

Megatron:用於分布式訓練大規模語言模型的架構,專門針對 Transformer 進行了優化,不只支持傳統分布式訓練的數據並行,也支持模型並行。

DeepSpeed:專注於優化大型深度學習模型的訓練,通過提高規模、速度、成本和可用性,釋放了訓練 1000 億參數模型的能力,極大促進大型模型的訓練。

除了這兩個框架,Aurora genAI 模型還將由 Aurora 超級計算機來提供算力——這台英特爾爲阿貢國家實驗室設計的超級計算機,在經歷了各種推遲後,如今終於成型了。

根據目前公开的資料顯示,Aurora 超級計算機由英特爾 Xeon CPU Max 和 Xeon GPU Max 系列芯片提供支持,總共有 10624 個節點,擁有 63744 個 Ponte Vecchio GPU、21248 個 Sapphire Rapids 至強 CPU、1024 個分布式異步對象存儲 (DAOS) 存儲節點以及 10.9 PB 的 DDR5 傲騰持久內存。

此外,英特爾方面還透露了 Aurora 超級計算機的早期性能結果:“Aurora 超算在科學和工程工作負載上具有更好性能,比 AMD MI250 GPU 的性能高 2 倍,在 QMCPACK 量子力學應用上比 H100 提高了 20%,並接近线性擴展,可達到數百個節點。”

值得一提的是,與Z*初的 1 Exaflop 目標相比,預計 Aurora 超級計算機在今年推出時,將提供超過 2 Exaflops 的雙精度浮點計算性能——比目前多次蟬聯全球超算 Top500 榜首的 Frontier 超級計算機(1.194 Exaflop/s)還要高。 

以科學爲重點的生成式 AI 模型 

有了算力強悍的 Aurora 超算打底,注定 Aurora genAI 模型的規模不會小。據英特爾官方介紹,阿貢國家實驗室正在爲 Aurora genAI 模型牽頭开展國際合作。

阿貢副實驗室主任 Rick Stevens 表示:“該項目旨在利用 Aurora 超級計算機的全部潛力,以產生一種資源,可用於能源部實驗室的下遊科學,並與其他機構合作。”

總體而言,Aurora genAI 是一個以科學爲重點的生成式 AI 模型,因此將在通用文本、代碼、科學文本以及生物學、化學、材料科學、物理學、醫學等科學數據上進行訓練。

由此產生的 AI 模型,將具有多達 1 萬億個參數,包括從分子和材料的設計到數百萬個來源的綜合知識,可用於各種科學應用:系統生物學、氣候科學、宇宙學研究、高分子化學與材料等。除了科學之外,Aurora genAI 模型還可能用於其他領域,如金融建模、自然語言處理、機器翻譯、圖像識別和語音識別等。 

計劃 2024 年完成 

除此之外,有關 Aurora genAI 模型的更多信息英特爾尚未劇透,不過據外媒報道,英特爾計劃在 2024 年开發和完成 Aurora genAI 模型——如果進展順利,或許我們等待的時間並不會太久。

這一消息的發布,引來了不少人的關注,而英特爾入局 AI 大模型即宣布 1 萬億參數起步,更是令人期待未來 GPT-4 等競品的發展:

“萬億參數應該是一個特殊的極限,但你也可以持懷疑態度,說這只是一個需要關注的巨大整數。毫無疑問,如果此模型類似於 GPT-4,這將增加一個數據點。但隨着各大公司宣布這個又宣布那個,我想知道我們是否會在 6 月達到頂峰。”

 “人們正在使用 H100 構建新系統,並且已經有明顯更好的 AI GPU 了,如果這種情況繼續下去,NVIDIA 可能需要盡快宣布新卡以保持更好地位。”

 “我猜 GPT-4 很快就不會在許多基准測試中繼續保持 SOTA(state of the art,指在特定任務中目前表現更好的方法或模型)了,或許未來它也將在世界上Z*快的超級計算機上進行訓練。作爲參考,OpenAI 超級計算機擁有大約 10000 個 GPU,而 Aurora 有 63744 個 GPU。”

本文作者可以追加內容哦 !