作者：王昕 來源：IT時報

近日，高通發布了《混合AI是AI的未來》白皮書。白皮書中闡釋的基本觀點是：隨着生成式AI正以前所未有的速度發展以及計算需求的日益增長，AI處理必須分布在雲端和終端進行，才能實現AI的規模化擴展並發揮其最大潛能。

作爲終端側AI領導者，高通代表的是，包括手機、汽車、XR頭顯與眼鏡、PC和物聯網等在內的數十億邊緣終端，未來該如何更泛在化地應用和實踐AI。

如果AI將變得無處不在，那么高通認爲混合AI是必然趨勢，終端AI和雲端AI的融合將是未來最主流的場景，這是綠色低碳的需要，也是用戶體驗的訴求，一個多層級的AI和算力網絡正爭相塑造一個全新的未來AI生態系統。

同時，高通向業界提供了一個重要信息，參數超過10億的AI模型已經能夠在手機上運行，且性能和精度達到與雲端相似的水平，未來幾個月內，基於高通產品的終端側AI能力還會繼續突破，望支持參數超過100億的模型在終端側運行。而這意味着，手機芯片和系統將具備運行小型行業GPT規模相當AI模型的能力。

全球首個Android手機側運行10億參數AI模型

“隨着生成式AI的飛速普及，混合處理的重要性空前突顯。”高通技術公司產品管理高級副總裁兼AI負責人Ziad Asghar表示，混合處理AI的重要性空前突顯，正如傳統計算從大型主機和瘦客戶端演變爲當前雲端和邊緣終端相結合的模式，AI處理必須在雲端和終端混合進行才能發揮其最大潛能。

Ziad Asghar表示，高通已經實現了全球首個Android手機上的Stable Diffusion終端側演示。

據悉，Stable Diffusion是一個參數超過10億的超大神經網絡基礎模型，能夠基於輸入的文本提示生成圖片。根據高通的演示，將手機設置成“飛行模式”，再通過手機端全棧AI優化，這一模型能夠完全在終端側運行，實現在15秒內完成20步推理，生成飽含細節的圖像。很重要的是，即便在飛行模式下，這些AI能力都可以得到實現，例如將Stable Diffusion的能力集成到相機應用中之後，用戶在任何一個地點拍攝照片，再要求AI將照片背景改爲夕陽之下的萬裏長城。

節約、高效是這種趨勢的最主要推動因素。舉例來說，使用基於生成式AI的搜索，每一次查詢其成本是傳統搜索方法的10倍，而這只是衆多生成式AI的應用之一。

Ziad Asghar透露，如果在雲端運行一個超過10億參數的生成式AI模型，可能需要數百瓦的功耗，而在終端側運行需要的功耗僅有幾毫瓦，“這賦予了高通在生成式AI領域的獨特優勢。不久的將來，擁有 100 億或更高參數的模型將能夠在終端上運行。”

Ziad Asghar表示，在雲端服務器上訓練的模型一般採用32位浮點運算（FP32），高通希望通過整數運算模式和量化技術進行AI推理，即時獲取模型推理結果。針對Stable Diffusion，高通採用8位整數運算（INT8）。去年年底發布的第二代驍龍8移動平台上，高通已經能支持了4位整數運算（INT4）能力。

對於混合AI的運行模式，高通技術公司工程技術副總裁侯紀磊解釋，混合AI架構可以根據模型和查詢需求的復雜度等因素，選擇不同方式在雲端和終端側之間分配處理負載。例如，如果模型大小、提示和生成長度小於某個限定值，並且能夠提供可接受的精確度，推理即可完全在終端側進行；如果是更復雜的任務，模型則可以跨雲端和終端運行。

“混合AI還能支持模型在終端側和雲端同時運行，也就是在終端側運行輕量版模型時，在雲端並行處理完整模型的多個標記（token），並在需要時更正終端側的處理結果。”侯紀磊表示。

“我們能夠提供非常高效的token生成速率，完全不會因爲時延影響到用戶的體驗。”Ziad Asghar強調，流暢的用戶體驗也是端側AI的核心優勢之一。

關注中國本土AI模型

顯然，對於混合AI的未來發展，高通在多個維度都持开放的態度。
高通不會局限於某個場景，例如ChatGPT，Ziad Asghar說，目前大語言模型的模態非常豐富，並且已經出現了多模態模型，如文本生成圖片、文本生成文本、文本生成視頻，甚至圖片生成文本、圖片生成視頻等方式，這將揭开新的序幕，高通已經开始面向不同場景和用例需求的模型展开工作。

“高通對模型的應用持有非常开放的態度。”Ziad Asghar表示，針對中國市場的模型，高通會專注於面向本地語言和使用場景的模型調優和訓練，以讓用戶能夠根據不同的需求，隨時隨地地使用模型，“我們當前在關注不同的开源模型，同時我們也將與衆多的中國合作夥伴攜手，實現這些模型在本土市場的終端側部署。”這意味着，高通原則上存在與中國大模型公司合作的可能性。

與此同時，針對用戶所擔心的個人隱私數據保護，終端側AI恰恰能夠解決這一問題。“無論是10億參數的模型，還是100億參數的模型，如果能夠完全在終端側來運行，比如用戶發出一個查詢，終端接收之後能夠獨立完成推理，那么所有相關的查詢信息和數據都會留在終端上，不會離开終端。”Ziad Asghar認爲，這對用戶來說是非常直觀的隱私和數據保護優勢。

大模型會在C端和B端同步落地

白皮書中，高通將自研AI技術的起步時間點定在了2007年。Ziad Asghar介紹，高通長期專注於脈衝神經網絡SNN研究，驍龍820平台搭載第一代高通AI引擎，是高通最先應用這一技術的產品。

Ziad Asghar表示，目前高通AI引擎涵蓋了CPU、GPU以及Hexagon處理器，這保證了AI需求可以被在最合適的環節和位置被處理。去年，高通還推出了專門面向Transformer處理的領先技術，能夠大幅提升Transformer處理效率。

對於未來，Ziad Asghar認爲，AI大模型會在C端和B端同步落地，無論是智能手機、VR、AR還是汽車等面向消費者的智能設備，亦或是企業級的搭載驍龍計算平台的PC、智能手機等，都將是AI大模型的載體，“只要人們用手機，就可以感受到AI帶來的優勢。”

鄭重聲明：本文版權歸原作者所有，轉載文章僅為傳播信息之目的，不構成任何投資建議，如有侵權行為，請第一時間聯絡我們修改或刪除，多謝。

---

標題：高通：來自終端AI側的“雲端守望”

地址：https://www.breakthing.com/post/70048.html