英特爾官宣1萬億參數AI大模型
1年前
英特爾官宣1萬億參數AI大模型
2023年5月29日 21:02
眼看着 ChatGPT 持續爆火了幾個月,期間微軟、谷歌、Meta 等科技巨頭接連入局,如今英特爾也終於官宣“參賽”。
在德國漢堡舉行的國際超級計算大會 (ISC) 高性能會議 (HPC)上,英特爾展示了其在 HPC 和 AI 工作負載方面的性能,還宣布了一項出人意料的計劃:與阿貢國家實驗室攜手,用 Aurora 超級計算機开發生成式 AI 模型 Aurora genAI,參數量將多達 1 萬億!
要知道,ChatGPT 的參數規模爲 1750 億,即 Aurora genAI 模型將比它至少大 5 倍。
AI 模型將由 Aurora 超算提供算力
據了解,英特爾 Aurora genAI 模型將以兩個框架爲基礎:NVIDIA 的 Megatron 和微軟的 DeepSpeed。
Megatron:用於分布式訓練大規模語言模型的架構,專門針對 Transformer 進行了優化,不只支持傳統分布式訓練的數據並行,也支持模型並行。
DeepSpeed:專注於優化大型深度學習模型的訓練,通過提高規模、速度、成本和可用性,釋放了訓練 1000 億參數模型的能力,極大促進大型模型的訓練。
追加內容
本文作者可以追加內容哦 !
鄭重聲明：本文版權歸原作者所有，轉載文章僅為傳播信息之目的，不構成任何投資建議，如有侵權行為，請第一時間聯絡我們修改或刪除，多謝。
標題：英特爾官宣1萬億參數AI大模型
地址：https://www.breakthing.com/post/62896.html
