“反復橫跳”馬斯克也要做大模型了?
1年前

前腳剛剛呼籲暫停AI开發至少6個月,後腳馬上“暗中”購买上萬個GPU推進AIGC項目,“整活王”馬斯克又搞事情了。


據Business Insider當地時間4月11日報道,兩位知情人士透露,盡管馬斯克此前剛剛籤署公开信。但事實上,他卻在“暗中”推進新的生成式人工智能(AIGC)項目,並爲此購买了上萬個GPU(圖形處理器)。


據Business Insider消息,這1萬顯卡是买給推特的,推特版GPT已在准備中,而且推特本身就擁有海量數據,存在一定優勢,該項目涉及創建一個生成式人工智能,推特將根據自己的海量數據進行訓練。


至於推特GPT究竟作用在何處,市場人士有兩種猜測:


其一,改進搜索。


因爲馬斯克曾抱怨過這一功能,甚至還聘請過著名iPhone黑客George Hotz進行爲期三個月的修復。不過似乎他和馬斯克的“氣場不和”,不僅曾經拒絕了特斯拉的offer邀請,在推特本來說好的三個月,也只呆了一個月就走了。


其二,可能是廣告營銷。


廣告是社交媒體的支柱,馬斯克在收購推特之後搞了很多新政策,不少廣告商直接削減支出或幹脆不合作了,導致光是推特去年12月的收入就比同期下降了約40%。


而如果有了大模型來做生成式AI創作,無論是設計素材還是提供idea,都可能會提高推特在廣告營銷方面的效率和收益。

馬斯克與OpenAI的愛恨情仇


今年3月,在GPT-3.5迭代到GPT-4,兩個月就獲得1億活躍用戶後,馬斯克等科技圈大佬帶頭潑下冷水,他們發布了一封聯名公开信,呼籲所有AI實驗室立即暫停訓練比GPT-4更強大的AI系統至少6個月。


而一衆大佬的叫停理由是:“希望暫停研發比GPT-4更強大的AI至少6個月,AI可能對社會和人類構成潛在風險;近期各人工智能實驗室陷入了失控的研發競爭,如果不能立即暫停,呼籲政府可以介入。


現在問題就來了,前腳剛剛呼籲暫停研發,後腳自己馬上就動手搞了,爲什么馬斯克態度如此反復?


據媒體報道,實際上,馬斯克反對的可能不是AI,而是OpenAI和GPT。


據新興媒體Semafor透露,馬斯克與OpenAI的不和更多是出於個人原因。2018年,馬斯克告訴OpenAI的聯合創始人山姆奧特曼,該實驗室落後於谷歌太多。馬斯克建議自己應該是經營公司的人,奧特曼和OpenAI的其他創始人拒絕了這一提議,權力鬥爭導致馬斯克離开OpenAI。


不過美國《財富》雜志當時報道稱,離开的原因是因爲馬斯克雖然支持人工智能,但特斯拉智能駕駛技術與OpenAI之間有“潛在利益衝突”。


在公司創立之初,馬斯克承諾向OpenA提供大約10億美元,而據Semafor的報道,該資助在他離开後就停止了。


此外,自ChatGPT誕生以來,馬斯克也沒少"針對"OpenAI。


例如其在推特上曾表示,“我捐1億美金成立的非營利組織怎么就變成一個300億市值的營利性公司了呢?如果這是合法的,爲什么其他人不這樣做?”

此外,在過去OpenAI是可以使用推特數據進行AI訓練的,但ChatGPT發布的第5天,馬斯克就下令暫停了這個權限。

算力需求將持續爆發


喫瓜歸喫瓜,最後我們重點再來聊一下算力的問題。


此次馬斯克購买的1萬張GPU大概是個什么概念?事實上,特斯拉最強超算Dojo也沒有這么多,Dojo在2022年升級後公布的數據是7360塊A100,雖然這次买的什么型號還不清楚,但光從數量來說也着實不少。


另外,據ARKInvest預測,ChatGPT-4參數量最高達15000億個,由於參數量與算力需求間存在正比關系,所以可推算GPT-4算力需求最高達到31271 PFlop/s-day。


浙商證券表示,與此同時,國內外廠商加速布局大模型,其參數量均達到千億級別,同步帶動算力需求爆發式增長。

華安證券還提到,類chatGPT大模型帶來的算力增長,毋庸置疑,但算力的需求,不止局限於模型的投資初期,隨着GPTAPI的开放、下遊應用多模態的成熟,對於的大模型的推理算力需求進一步提升。即在模型不斷更迭訓練中,算力需求提升;在模型應用推理中,算力需求進一步提升。由此,整個算力需求一如互聯網時期的流量需求,持續爆發。


其表示,整個大模型的算力需求包括訓練端與推理端。具體來看:首先是訓練端:算力需求,與模型參數、訓練數據集規模正相關。


其表示,未來的訓練端算力需求將是下述三大因素的乘積。


1)參數規模。也即隨着GPT 3向更多參數的GPT4、5等發展。


2)訓練集規模。


3)投入大模型的企業增長。國內包括華爲、百度、阿裏巴巴、騰訊、字節等互聯網巨頭以及更多加入大模型研發的企業。


而在推理端:算力需求與模型參數數量、平均序列長度、並發需求量正相關。其表示,多模態之下,圖片、視頻生成需求的提升,在公式中將會增加平均序列長度,同時隨着並發需求的增長,整個推理算力需求大幅提升。同時chatgpt應用進一步豐富,在推理端的算力需求持續提升,或將遠遠超過訓練階段的算力需求。

追加內容

本文作者可以追加內容哦 !

鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播信息之目的,不構成任何投資建議,如有侵權行為,請第一時間聯絡我們修改或刪除,多謝。



標題:“反復橫跳”馬斯克也要做大模型了?

地址:https://www.breakthing.com/post/52603.html