Q ：騰訊在 AI 大模型方向的進展情況？混元大模型？
A ：騰訊的大模型情況與百度、 阿裏不同 ，我們分到了每個 BG ，我們有 6 個 BG ( TEG 技 術中台、CSIG 面向 B 端、微信、遊戲、 PCG 做內容、CDG 偏廣告金融) ，其中六個 BG 都 有做 AI ，都非常重視不管從投入還是老板重視程度來看 ，我認爲 AI 在技術側是騰訊 number one 的地位。。TEG 類似中台 ，AI lab 在 TEG 下面。混元大模型由騰訊唯一 17 級科學家張 正友老師負責 ，也是 AI lab 的負責人。6 個 BG 都有人在參與混元 ，共同推進 ，算法上 TEG 偏 general ，其他 BG 偏行業。大模型騰訊在幾年前也做過 ，混元也有上一代產品 ，偏檢索式。馬上五月要發的是偏深層次的 ，對標 ChatGPT。 目前混元還在測試研發中。
Q ：騰訊 AI 大模型在什么樣的水平 ？
A ：騰訊 AI 大模型是萬億 (參數) 的 ，雖然還未發布 ，但我們自己認爲比 ChatGPT 要強 ， 但比 GPT4 可能不足 ，GPT 是支持多模態 ，而我們暫時偏自然語言。
Q ：混元大模型的算法是騰訊原創？還是基於什么技術路线？
A ：算法上對標 GPT ，但也有不一樣的地方 ，比如 Fine-tune、 Reward Model、 PPO ，但 其實這三步都是大家需要做的事情 ，主要是需要自己找一些新的數據 ，再做數據預處理。
Q ：在算力層面 ，騰訊雲已用於 AI 訓練的算力在什么水平？後續投入計劃？
A ：我們投入了將近萬張卡 ，我們在算力上還是有一定儲備。我們也在內部評測華爲昇騰芯 片 ，發現有些場景下性能還可以。
Q ：混元的訓練數據以什么類型爲主 ，數據來源 ？
A ：數據來源爲公开中文數據集、 自己內部數據。數據需要做標注等預處理工作。
Q ：能否介紹一下您正在研發的產品具體情況？未來商業化場景？
A ：我們主要面向 B 端、G 端客戶 ，後續會重點推行業的中小模型 ，主要有幾種模式 ：1 ) 對於超大客戶 ，可能會選擇從頭訓練一個大模型 ，但這種情況比較少 ，我們有能力去幫助客 戶從 0 到 1 重新訓練大模型。2 )基於客戶的私有數據 ，對我們基礎大模型做定制化 fine-tune。 3 ) 大多數客戶還是會基於其行業屬性 ，我們一起聯合訓練模型。
Q ：騰訊混元大模型在哪幾個方面的性能強於 ChatGPT ？
A ：從參數上 ，我們 1 萬億 ，ChatGPT 是 1750 億。
Q ：騰訊的 AI 服務器用哪家較多 ？
A ：浪潮。
Q ：騰訊在 AI 醫療方面有沒有與企業合作做 AI 醫藥研發訓練 ，或者 AI 在线診斷？AI 醫療 數據有專門數據處理公司嗎 ？
A ：我跟的領域沒有做這方面的事。我知道有一個單獨的團隊在做 DrugAI 的事情 ，但實際 做到什么程度我不清楚。也有團隊在做醫保卡相關的項目。數據處理公司也不太清楚。
Q ：整個訓練過程都是有監督條件下的大模型訓練嗎 ？
A ：前面模型可以做自監督 ，後面的要在模型上做數據標注。算法原理是先有一個一般意義 上的模型 ，再在模型上做數據標注、排序等。
Q ：在混元大模型上做行業小模型 ，小模型屬於推理部分嗎 ？
A ：大多數客戶只要推理 ，但費用和投入肯定不一樣。
Q ：在推理過程中 ，數據傳輸和算力只有大模型需要還是推理端也需要 ？
A ：取決於客戶部署在哪裏。如果部署在公司雲上 ，需要採購公司算力。如果有自己的私有 雲 ，就有自己的算力。針對數據隱私公司會加密。
Q ：如果應用端是 b 端企業 ，跑行業數據會落在邊緣側和訓練側不聯系嗎 ？
A ：更多調研關注：財富club
Q ：以混元大模型爲基礎开發的行業小模型在算法上要與大模型適配 ？
A ：
Q ：結構一樣可以遷移嗎 ？
A ：
Q ：英文、 中文語料在 AI 大模型上的差異？有可能通過翻譯擴充中文語料嗎？
A ：
Q ：知識性語料翻譯損耗低？文學類相對高？
A ：
Q ：中國處於數據安全不太可能完全接納 ChatGPT ？微軟在 bin 和 office 上的 Chatgpt 能否通過技術優化跨過監管要求 ？
A ：
Q ：訓練大模型時間？大概多久超越 GPT4 ？
A ：之前有過底座模型 ，現在是基於底座模型研發 ，不是從零开始。時間將近 5 月份 ，近小 半年時間。
Q ：百度、華爲、 阿裏、小米等技術層面對比 ？
A ：大家方法肯定類似 ，只是每家數據有差異。像百度做搜索引擎的肯定有先發優勢 ，後續 還要看把技術優勢商業化能力。
Q ：騰訊模型後續進入方向 ？
A ：1 ) 微信肯定是最好的場景 ，因爲它本身偏對話具有小程序 ，後續加上服務肯定有更好 的體驗。 2 ) 遊戲上肯定設計偏創意設計 ，效率上肯定有提升。 3 ) 廣告業務也會有很好的 工具賦能。4 ) 短視頻肯定也會有很大提升。 5 ) TOB 上肯定會往各行業推大模型 ，因爲 AI 本身是降本增效的工具。
Q ：浪潮服務器採購量 ？
A ：服務器採購量不知道。但申請資源裏浪潮偏多。
Q ：大模型商業化會率先 To C 還是 To C ？
A ：同時進行 ，因爲每個 BG 均有參與 ，同時基於其底座能力。
Q ：目前是否有對外合作 ？
A ：目前 SaaS 加速器、微信等業務均有大量合作夥伴。原業務基於 AI 的部分合作業務均可 以使用大模型進行替換。
Q ：大模型合作中的數據保護形式 ？
A ：客戶行業數據主要用於訓練部分對模型進行定制。 目前數據均採用聯邦學習計算方式進 行加密 ，不會導致原始數據泄露。聯邦學習原理可以實現只共享數據權重 ，數據和權重之間 是單項傳遞 ，無法倒推。
聯邦學習分橫向聯邦、縱向聯邦。聯邦學習根據不同用戶的權重 ，將訓練出來的模型加權平 均 ，再分布給用戶進行下一輪訓練。
Q ：雲端精調收費方式 ？
A ：採納騰訊 IaaS 算力進行訓練 ，騰訊也有自己的特殊數據幫助客戶訓練。
Q ：精調與預訓練兩個過程對芯片要求是否有區別 ？
A ：預訓練主要是通過反向傳播對全量網絡進行更新。但精調不需要更新全部網絡 ，不需要 更新後面幾層 ，故算力和數據要求較小。
Q ：有一定算力基礎的廠商是否可以自己進行精調 ？
A ：騰訊萬億量級底座效果會較好 ，但目前斯坦福也已經推出了小參數但效果不錯的模型。 伴隨算法不斷迭代 ，未來算力不會是瓶頸 ，數據才更爲重要。
Q ：若使用昇騰芯片 ，會通過使用華爲雲還是採購芯片第三方代工方式 ？
A ：從技術來說是都可行的 ，但是從成本上來說 ，華爲雲成本會比採購更低。但騰訊肯定不 會使用華爲雲 ，會使用自建雲。對客戶來說 ，還需要考慮的方面是數據安全性。但將數據交 給國內大廠都是較爲安全的。
$騰訊控股(00700)$ $大華股份(SZ002236)$ $科大訊飛(SZ002230)$
#意大利宣布“封殺”ChatGPT# #ChatGPT概念瘋狂拉升#本文作者可以追加內容哦 !
鄭重聲明：本文版權歸原作者所有，轉載文章僅為傳播信息之目的，不構成任何投資建議，如有侵權行為，請第一時間聯絡我們修改或刪除，多謝。
標題：騰訊 AI 大模型專家交流紀要0331
地址：https://www.breakthing.com/post/51585.html
