文 | 魅影，編輯 | 嘉辛，出品 | 數智界

2022年底，美國人工智能研究公司OpenAI，發布了對話式機器人ChatGPT，憑借着更“聰明”的對話表現，ChatGPT迅速走紅：

上线5天後，其注冊用戶數超過了100萬；上线兩個月後，其用戶數破億，打破了由Twitter保持的記錄，成爲史上增長最快的消費者應用，Twitter當時用了9個月。

進入2023年以來，ChatGPT引發的熱潮還在繼續，最直接的表現就是，全球範圍內包括谷歌、微軟、百度等科技公司都坐不住了。

2月7日，百度方面確認，其將推出類ChatGPT的產品，該項目定名爲“文心一言”，英文名字叫“ERNIE Bot”，百度預計將在3個月內完成內測，並面向公衆开放。

百度介紹，公司擁有ChatGPT的所有相關技術，在人工智能所包含的底層芯片、深度學習框架、大模型以及最上層的搜索等應用上，百度有全棧布局。

說回到ChatGPT，其更准確的叫法是基於GPT3.5的免費對話模型，GPT是使用預訓練技術得到的通用的文本模型。GPT的發展歷程中，依次經過了GPT-1、GPT-2、GPT-3這幾次迭代。

無論是GPT-1、GPT-2，還是GPT-3，都可以稱爲是預訓練大模型。

事實上，ChatGPT走紅的背後，預訓練大模型正在成爲人工智能的新方向——這要追溯到2018年，谷歌發布了BERT模型，在機器閱讀理解頂級水平測試中表現不俗，引發了業界的廣泛關注。當時，谷歌團隊的Thang Luong直接定義：BERT模型开啓了NLP的新時代。

預訓練大模型成爲主流之後，AI开始從大量訓練模型向訓練大模型轉變，以期讓AI模型具有泛化能力，讓AI真正走向通用且實用。

清華大學教授唐傑此前曾表示，爲了提高機器學習算法的效率，改變傳統的行業布局，過去幾年，大家拼命做模型，導致模型越做越多，但是一般的模型訓練效果並不如人意，花了大量財力精力，卻始終達不到理想的訓練效果。

他舉例子說，小煉鋼廠往往條件簡陋，能煉鋼，但質量不好。大連鋼廠买得起設備、花得起電費，煉出的鋼質量就好，大模型就是大煉鋼廠，它可以獲得大量數據，並把數據清洗幹淨，提升算力，滿足要求。

百度技術委員會主席吳華在一次技術分享會上也曾提到，預訓練大模型最大的優勢，其能夠充分地挖掘大規模無標注數據的潛力，從海量數據中學習知識與規律，就像我們人類的通識教育。“從出生开始，我們接受的都是通識教育，到上大學以後，才接受專業教育”，她這么說道。

百度此次下場推出的“文心一言”，也是一個基於預處理大模型的項目，底層的基石是百度在2019年推出的產業級知識增強文心大模型ERNIE。ERNIE是百度文心大模型中的其中一個。

去年，基於這一大模型的度曉曉，在寫作、繪畫、寫歌等方面的能力已有過密集展示。

本文作者可以追加內容哦 !