$雲創數據(SZ835305)$  

【萬字硬核實錄】陳天奇：A卡跑大模型，iphone跑70B，打爆英偉達GPU算力困境#AI##GPU# 

最近，很多人都在爲算力發愁。

Big tech和初創公司們正在瘋狂囤積英偉達GPU，VC和媒體們正如統計核庫存般仔細盤點GPU的供需，互聯網上分析GPU短缺的文章，亦如雨後春筍般湧現。

不過，如果我們可以用A卡代替N卡，甚至不需要GPU就可以訓練大模型，一切又會發生怎樣的變化呢？

說到這裏，就不得不提到一位大神——TVM、MXNET、XGBoost 作者，卡內基·梅隆大學助理教授，OctoML CTO 陳天奇。

最近，由陳天奇帶領的CMU機器學習編譯小組（MLC）釋出了使用 AMD 顯卡進行大模型推理的新方案，立刻獲得了機器學習社區的廣泛關注。

通過這種優化方法，在最新Llama2的7B和13B模型中，用一塊AMD Radeon RX 7900 XTX，速度已可達到英偉達RTX 4090的80%，或是3090Ti的94%。

8月11日，陳天奇同風險投資公司Decibel Partners 的合夥人兼首席技術官Alessio、Latent Space主理人Swyx展开了深度交流，

圍繞MLC、XGBoost、WebLLM、OctoAI、自優化計算等話題展开了深度討論，全文內容請移步評論區。

本文作者可以追加內容哦 !