數據:xAI將使用推特數據進行訓練
馬斯克不希望在 AGI 領域只有一個公司主導,而是有所競爭。當前,xAI才剛剛起步,目前還處於非常初級的階段,需要一點時間才能真正推出有用的東西。而在還沒有對模型進行訓練的階段,先找到訓練數據的來源是當務之急,數據的質量也決定了未來模型效果和產品的質量。
在直播中,馬斯克表示,人類創造的數據總有一天會用完,因此人工智能最終將生成內容並訪問。
而鑑於很多人工智能的軟件开發人員廣泛使用 Twitter 的數據,馬斯克表示,“我想我們也會使用公共推文(顯然不是任何私人推文)進行訓練,就像基本上其他人一樣。”
上周五,馬斯克在沒有援引任何證據的情況下聲稱,“地球上的每個人工智能組織”都使用了 Twitter 的數據進行訓練,“在所有情況下都是非法的”。
在本月初,Twitter 更是起訴了四個身份不明的團體竊取了數據。最近幾周,推特更是實施了速率限制,馬斯克聲稱,這是因爲推文正在“被瘋狂地爬取”。他說:“有多個實體抓取了曾經發布的每一條推文,並試圖在幾天的時間裏完成這一點。所以這讓系統崩潰了,我們必須採取行動。”
此外,xAI 的初衷是开發“理解物理世界而不僅僅是互聯網”的技術,因此馬斯克認爲特斯拉的駕駛數據也將在這方面有所幫助。
算力:xAI將和特斯拉密切合作
哪怕強如馬斯克,在組建AI初創公司時,也難逃算力焦慮。
有消息稱,馬斯克試圖從老黃那邊求購4萬張用於訓練AI的GPU,但最後英偉達只承諾在1年內提供2萬張卡供其使用。
在直播中,特斯拉的鐵杆粉絲兼推廣人奧馬爾·卡齊向馬斯克詢問了 xAI 是否有可能使用英偉達或特斯拉制造的芯片進行數據處理。
而馬斯克稱,xAI將會與特斯拉密切合作,共同开發人工智能軟件,“這種關系互惠互利,可能加速特斯拉在自動駕駛方面的能力”。
同時,他表示特斯拉正自研芯片,但絕不會叫做GPU,或用100s、H100s等來描述它。馬斯克也曾在公开演講中直言,盡管人們一般將它和GPU等價看待,但特斯拉的Dojo不是GPU,而是特斯拉在爲機器學習和計算機視覺訓練而开發的超級計算機。在周末的直播中他還表示,Dojo2將向大模型方向發力。
算法:xAI 最終的模型不會“人雲亦雲”
在算力和數據這兩方面,和人才的關系並不算太大,但在算法領域,人才的重要性則不言而喻。
據semafor透露,馬斯克給團隊中頂級研究員的薪酬,高達9位數,如果按照傳言的200億估值來算,那么在初創階段的分給核心技術人員的1%股票期權,就相當於2億美元。
同時,xAI 的團隊成員在直播中提到,行業當前的 AI 模型只是模仿它們所訓練的數據,而他們真正想要做的是改變這種模式,讓模型能夠發現真相,不僅僅是重復模型從訓練數據中學到的知識,而是能夠提供真正的新見解、新發現。
按照馬斯克的說法,xAI的人工智能將是一個好奇心極強且只試圖理解宇宙的模型。他還認爲,“我認爲我們的人工智能可以給出人們可能會覺得有爭議的答案,盡管它們實際上是真實的。”這比將道德准則編入模型代碼中更加有效,還不會出現因爲編碼而導致道德本末倒置的問題。
他提到,構建一個具備好奇心和追求真相的 AI 是實現人工智能安全的關鍵,爲了大衆的“正確”而教 AI 撒謊其實更危險。他認爲,在不拖累 AI 發展的情況下,犧牲一點時間確保 AI 安全是值得的。
此前,馬斯克曾指責OpenAI和谷歌等公司在不考慮人類風險的情況下开發人工智能技術。他表示,xAI將尋求建立一個“良好的”通用人工智能,作爲微軟、谷歌、 OpenAI人工智能產品的替代品。
不過,在實現最終的AGI之前,xAI的大模型將會從數學角度切入,馬斯克在這場talk上也進一步解釋了爲什么這么做:
數學可以开闢新的方式來思考基礎物理或者其他問題。當我們試圖從數學角度理解神經網絡時,往往也會產生一系列有趣的理論、問題和觀點。
實際上,在xAI的主創團隊中,就不只一人曾專注研究過AI數學領域的問題,如Greg Yang本身就是一位數學家,他計劃創建一種人工智能,可以幫助人類更好地理解宇宙的數學定律。
同樣,在加入 xAI 之前,Christian Szegedy 也曾領導過一個谷歌研究項目,旨在創造一名“自動化數學家”。他的前同事、同樣也加入了xAI的 YuHuai Wu 此前曾對媒體表示,他希望通過創建一種能夠自行破譯定理的人工智能,利用機器學習來“解決數學問題”。
幾十年來,計算機一直在幫助數學家識別模式,使他們的工作更加高效。但時至今日,人工智能尚不具備解決高級定理所需的推理能力。
其中的部分原因是,目前並沒有足夠的數據可供人工智能數學模型訓練。對於計算機來說,要處理定理,同樣需要將其從自然語言翻譯成可被驗證邏輯上合理的形式化代碼,估計這些數據約有 1000 萬行,而目前 ChatGPT 達到當前的效果,就已經接受了數萬億行人類語言的訓練。
寫在最後
從美國SEC披露的文件中可以看出,由馬斯克創辦或擔任CEO的幾家公司,包括特斯拉、The Boring 和 SpaceX 等,多年來一直在相互合作。他的xAI也將與特斯拉在“芯片前沿”和“人工智能軟件前沿”方面進行合作。
最後,除了算法、數據、算力這些重點內容之外,馬斯克還在直播中闲扯了一些個人觀點。舉例來說,馬斯克覺得對於超級AI來說,和人類共存比滅亡人類更有意思,“你看太陽系裏有那么多星星,這些加起來都沒有人有意思”。
不過,對於其他更多細節性的問題,馬斯克就沒再進一步進行解釋了。比如,xAI具體到底怎么反超谷歌、OpenAI等等。
但還是老樣子,馬斯克又給自己的AI大模型公司明確了一個時間點:2029年之前實現AGI。既然他曾經的說過的很多話的確最終都實現了,那我們姑且六年後再看這次預言的結果如何。
本文作者可以追加內容哦 !
鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播信息之目的,不構成任何投資建議,如有侵權行為,請第一時間聯絡我們修改或刪除,多謝。
標題:馬斯克在线答疑!xAI表示“肯定會與OpenAI 競爭”
地址:https://www.breakthing.com/post/78845.html