自動測試分數達到ChatGPT的99.3%，人類難以分辨兩者的回答……

這是开源大模型最新成果，來自羊駝家族的又一重磅成員——華盛頓大學原駝（Guanaco）。

跑分達ChatGPT的99%，人類難以分辨！开源「原駝」爆火，iPhone都能微調大模型了 由 ZAKER 提供

更關鍵的是，與原駝一起提出的新方法QLoRA把微調大模型的顯存需求從780GB降低到48GB。

开源社區直接开始狂歡，相關論文成爲24小時內關注度最高的AI論文。

跑分達ChatGPT的99%，人類難以分辨！开源「原駝」爆火，iPhone都能微調大模型了 由 ZAKER 提供

以Meta的美洲駝LLaMA爲基礎，得到原駝650億參數版只需要48GB顯存單卡微調24小時，330億參數版只需要24GB顯存單卡微調12小時。

24GB顯存，也就是一塊消費級RTX3090或RTX4090顯卡足以。

不少網友在測試後也表示，更喜歡它而不是ChatGPT。

跑分達ChatGPT的99%，人類難以分辨！开源「原駝」爆火，iPhone都能微調大模型了 由 ZAKER 提供

英偉達科學家Jim Fan博士對此評價爲：大模型小型化的又一裏程碑。

先擴大規模再縮小，將成爲开源AI社區的節奏。

跑分達ChatGPT的99%，人類難以分辨！开源「原駝」爆火，iPhone都能微調大模型了 由 ZAKER 提供

而新的高效微調方法QLoRA迅速被开源社區接受，HuggingFace也在第一時間整合上线了相關代碼。

跑分達ChatGPT的99%，人類難以分辨！开源「原駝」爆火，iPhone都能微調大模型了 由 ZAKER 提供

GPT-4做裁判，原駝得分達到ChatGPT的99.3%

論文中，團隊對原駝總共做了三項測試，自動評估、隨機匹配和人類評估。

測試數據來自小羊駝Vicuna和Open Assistant。

自動評估由大模型天花板GPT-4當裁判，對不同模型的回答進行打分，以ChatGPT（GPT3.5）的成績作爲100%。

最終原駝650億版得分達到ChatGPT的99.3%，而GPT-4自己的得分是114.5%，谷歌Bard是94.8%。

跑分達ChatGPT的99%，人類難以分辨！开源「原駝」爆火，iPhone都能微調大模型了 由 ZAKER 提供

隨機匹配，採用棋類專業比賽和電子競技同款的Elo記分機制，由GPT-4和人類共同做裁判。

原駝650億和330億版最終得分超過ChatGPT（GPT3.5）。

跑分達ChatGPT的99%，人類難以分辨！开源「原駝」爆火，iPhone都能微調大模型了 由 ZAKER 提供

人類評估，則是把原駝650億版的回答和ChatGPT的回答匿名亂序放在一起，人類來盲選哪個最好。

論文共同一作表示，研究團隊裏的人都很難分辨出來，並把測試做成了一個小遊戲放在Colab上，开放給大家挑战。

跑分達ChatGPT的99%，人類難以分辨！开源「原駝」爆火，iPhone都能微調大模型了 由 ZAKER 提供

這裏節選其中一個問題（附中文翻譯），你能分辨出哪個是ChatGPT回答的嗎？

問題：How can I improve my time management skills?（如何提高時間管理技能？）

跑分達ChatGPT的99%，人類難以分辨！开源「原駝」爆火，iPhone都能微調大模型了 由 ZAKER 提供

跑分達ChatGPT的99%，人類難以分辨！开源「原駝」爆火，iPhone都能微調大模型了 由 ZAKER 提供

（完整測試地址在文末）

總的來說，原駝的優勢在於不容易被問題中的錯誤信息誤導，比如能指出地球從來沒有被科學界認爲是平的。

跑分達ChatGPT的99%，人類難以分辨！开源「原駝」爆火，iPhone都能微調大模型了 由 ZAKER 提供

以及擅長心智理論（Theory of Mind），也就是能推測理解他人的心理狀態。

跑分達ChatGPT的99%，人類難以分辨！开源「原駝」爆火，iPhone都能微調大模型了 由 ZAKER 提供

但原駝也並非沒有弱點，團隊發發現它不太擅長數學，以及容易用提示注入攻擊把要求保密的信息從它嘴裏套出來。

跑分達ChatGPT的99%，人類難以分辨！开源「原駝」爆火，iPhone都能微調大模型了 由 ZAKER 提供

也有網友表示，雖然一個模型能在某個數據集上無限接近ChatGPT，但像ChatGPT那樣通用還是很難的。

跑分達ChatGPT的99%，人類難以分辨！开源「原駝」爆火，iPhone都能微調大模型了 由 ZAKER 提供

全新方法QLoRA，iPhone都能微調大模型了

原駝論文的核心貢獻是提出新的微調方法QLoRA。

其中Q代表量化（Quantization），用低精度數據類型去逼近神經網絡中的高精度浮點數，以提高運算效率。

LoRA是微軟團隊在2021年提出的低秩適應（Low-Rank Adaptation）高效微調方法，LoRA後來被移植到AI繪畫領域更被大衆熟知，但最早其實就是用於大語言模型的。

通常來說，LoRA微調與全量微調相比效果會更差，但團隊將LoRA添加到所有的线性層解決了這個問題。

跑分達ChatGPT的99%，人類難以分辨！开源「原駝」爆火，iPhone都能微調大模型了 由 ZAKER 提供

具體來說，QLoRA結合了4-bit量化和LoRA，以及團隊新創的三個技巧：新數據類型4-bit NormalFloat、分頁優化器（Paged Optimizers）和雙重量化（Double Quantization）。

最終QLoRA讓4-bit的原駝在所有場景和規模的測試中匹配16-bit的性能。

跑分達ChatGPT的99%，人類難以分辨！开源「原駝」爆火，iPhone都能微調大模型了 由 ZAKER 提供

QLoRA的高效率，讓團隊在華盛頓大學的小型GPU集群上每天可以微調LLaMA 100多次……

最終使用Open Assistant數據集微調的版本性能勝出，成爲原駝大模型。

Open Assistant數據集來自非盈利研究組織LAION（訓練Stable Diffusion的數據集也來自這裏），雖然只有9000個樣本但質量很高，經過开源社區的人工仔細驗證。

這9000條樣本用於微調大模型，比100萬條指令微調（Instruction Finetune）樣本的谷歌FLAN v2效果還好。

研究團隊也據此提出兩個關鍵結論：

• 數據質量 數據數量

• 指令微調有利於推理，但不利於聊天

最後，QLoRA的高效率，還意味着可以用在手機上，論文共同一作Tim Dettmers估計以iPhone 12 Plus的算力每個晚上能微調300萬個單詞的數據量。

這意味着，很快手機上的每個App都能用上專用大模型。

跑分達ChatGPT的99%，人類難以分辨！开源「原駝」爆火，iPhone都能微調大模型了 由 ZAKER 提供

本文作者可以追加內容哦 !