對話網易伏羲：爲什么做不“性感”的事情

1年前

對話網易伏羲：爲什么做不“性感”的事情

在大模型引發的新一輪熱潮之下，對話、寫詩、作畫已經不再是大模型的全部。在剛剛過去的上海人工智能大會（WAIC）上，中國工程院院士鄔賀銓表示：現在需要深入思考大模型的應用方向，將大模型切實投入城市發展、金融科技、生物醫藥、工業制造、科學研究等領域。“也需要專業的企業和組織加速其在實體產業落地，爲產業剛需帶來實實在在的價值，真正大規模服務社會。”

而作爲國民經濟的主體，制造業是工業產業的基礎。“AI大模型要加強制造業‘技術、產業、應用’的進一步融合，研發面向制造業的AI大模型技術，推動我國制造業數字化轉型與智能化升級，進而爲實現我國邁入制造強國的偉大战略目標作出新的重大貢獻。”中國工程院院士李伯虎說。

在此背景下，許多公司都在基於自己的技術基礎，尋求跨界賦能。據「市界」了解，“比起競爭激烈的虛擬人業務”，網易把更多目光投向了更能“改造實業”的制造業領域。

在浙江省平台經濟高質量發展大會上，網易CEO丁磊表示：用最快的速度探索AI大模型的創新、應用，是網易的首要任務。

據了解，網易AI大模型正在加速覆蓋百余個產業應用場景。在加速創新應用的同時，網易“伏羲”有靈衆包平台今年還將爲10萬人提供AI新職業，包含挖掘機遠程駕駛員、AI繪畫師、AI表情綁定師等人機協作的就業崗位。平台還會根據求職者的用戶畫像，提供針對性的培訓，幫助他們實現能力和收入的提升。

網易伏羲實驗室負責人範長傑在不久前的人工智能大會上也表示，在AI發展的過程中，人不會被AI所替代，而是可以從執行者變成任務的組織者或定義者，並有機會去做更多自由有趣的工作。伏羲基於自研的AOP（Agent-Oriented-Programming，面向智能體編程）技術將人和機器統一抽象爲智能體，提供統一範式的接口和建模方式，以群體智能人機協作的衆包方式在數字孿生環境中完成任務，通過自動數據閉環降低數據獲取成本，並通過 AOP 把困難復雜高算力任務分拆成子任務，使大模型的算力成本大幅下降。

2021年，網易伏羲成立了機器人部門。如果說“伏羲”承載着探索前沿科技的“頂天”期待，那機器人部門就是要“落地”，探索如何把前沿探索賦能到實體產業，幫助解決真正的問題。

這一次在網易新展台上，經由網易伏羲工程機器人團隊花費了4個月开發的“裝載機”展出。該無人裝載機器人由網易伏羲和中建八局聯合研發，基於拌和站場景研發的高智能化、全自動化的一款主力工程機械，一方面，採用了無人駕駛技術，實現環境感知、路徑規劃、主動避障、自主作業、自動監控與提醒等自動化功能。另一方面，利用數字孿生技術，搭建攪拌站智能系統，系統能利用大數據平台的綜合數據分析，自主擇優爲站內裝載機分發任務、實現裝載機作業路徑的智能規劃執行。

“裝載場景一般在室內，更固定，因而商業應用可能性更大。”網易伏羲工程機器人團隊的產品負責人楊新偉對「市界」說。作爲“無人裝載機”背後的“總工程師”，以下是「市界」與他的對話實錄：

Q：爲何網易會涉足無人裝載機，源頭在哪兒？爲什么網易不做看起來更“性感”一些的事情？

A：2021年，人工智能的突飛猛進，團隊便判斷機器人的硬件本體也會到達一個臨界點，趨向於成熟。我們當時就在思考，要去做什么樣的機器人？怎么做？切入哪個場景？當時有人提議可以去做挖掘機，採摘機等等。

最後爲什么選擇了挖掘機？第一，國家層面提出了一個挖掘機指數，是指用挖掘機的开工小時、开工率來判斷一個國家的基建程度，經濟發展水平，可見挖掘機的重要程度。第二，挖掘機有挖鬥，小臂，大臂，其實跟機械臂很像，也很像一個機器人。把挖掘機類比成機器人，它所面臨的場景是最復雜的。如果我們的 AI 能力能在挖掘機上起到幫助，其他的機械從理論上來說只會比挖掘機簡單。因此就選擇了一個最復雜、也最具有挑战的作爲开端。

那今年爲何又進一步推出裝載機呢？一個是因爲市場需求。

去年12月，我們跟中建八局籤約後，拓展出了新的場景。他們反饋，現在招工難，成本高。因爲現場灰塵大、需要三班倒，工地上都是 40 歲以上的人，年輕人不愿來。二是因爲有了去年挖掘機的積累，加上我們又做了一個超大規模的預訓練平台，基於此推出了 AOP 面向智能體的編程。有了這套範式後，此前無人挖掘機上的 AI 能力，包括遊戲積累的 AI 能力，都能被抽象到平台上。基於這個平台和此前挖掘機上積累的工業模型，去做遷移，第一個場景便出現在了無人裝載機上。

（圖源/無人裝載機視頻示意圖）

後續不止無人裝載機，還會有推土機、壓路機、塔吊等等。很多主機廠要跟我們合作。這些工程機械都可以直接復用現有的工業模型，包括對液壓的轉移模型、運動控制的模型、感知識別的模型。

這都是緣於我們過去在遊戲裏面積累了大量的數據、模型的經驗。如果沒有那些積累，從零开始做非常難。行業中有些夥伴卡在某個具體的技術難點，還是在用傳統的思路去解決。如果沒有用到很強的 AI 能力，實現的效率就無法滿足真正的生產應用。

Q：網易的遊戲能力具體是怎樣遷移到工程機械上的？

A：一個是數字孿生。在真正开始去做研發的之前，我們做了整個挖掘機的數字孿生，這個能力就是從遊戲遷移過來的，也可以理解爲遊戲化仿真。

在摸到真機之前，我們都是先在數字孿生的仿真環境裏去做訓練，學習在不同光线情況下它對物料的識別。在仿真環境下，也能通過攝像頭去感知，物料怎么識別，卡車怎么識別，路徑怎么規劃，導航怎么避障等等。基礎的算法都是在仿真環境下預演了百分之八九十，基本沒什么大問題了才去摸真實的機器。因爲真實的機器需要真實的場地，需要燒油，需要真人去維護，需要去現場，成本太高。那現在就基於我們自研的遊戲引擎，去做環境仿真。

對機械來說，挖一勺沙子，跟挖一勺石頭，感受是不一樣的。我們去做一些精准化的仿真，幫我們去做精准化的模擬，這些數據的收集，再進一步的去反饋到我們的模型就可以變得更成熟。

其次是挖掘機的一些控制能力，傳統的挖掘機是你要控制它的大臂、小臂，是要用兩只手去操作，那在這個過程中我們從《永劫無間》裏面去提取出來一個模仿框架。《永劫無間》是一個战鬥競技類的遊戲，有玩家大量的操作數據，我們用那些操作數據訓練出來一個仿真對战機器人。

它有很多的數據，輸入的數據，用戶輸入的數據，用的是我們統一的一個編程框架，叫AOP，全稱是面向智能體編程。人是智能體，機器也是智能體，遊戲的角色也是智能體。在遊戲對战環境中，這個角色看到了什么？感知到周圍的環境是什么對手，出的是什么招？基於這個認知應該怎么去做一個決策？我應該釋放什么樣的招來擋你？那擋了之後會有一個函數，會變成基於一個自發學習的結果。基於這套在遊戲裏面的自學習框架，我們遷移到挖掘機上。

那對挖掘機也是一樣的，我看到了這塊石頭，要挖，從哪裏挖？也是有一個學習和認知的過程。那挖完之後，有幾種不同的挖土的方式，直接平挖，還是先往下鏟，再往上提，平往後鏟？整個這個挖掘的過程，我們也是學習老師傅的數據，讓真實的師傅去开我們的挖掘機，在不同的場景下去做了一些數據收集操作的數據。

去年做了挖掘機之後，能力集中在兩點。一個是液壓模型的學習。所有的工程機械都是液壓驅動的，不是電驅的，針對液壓模型去做分析。因爲不同型號、不同分位、不同年限、不同廠家，它的液壓都是不一樣的，甚至每一台的也不一樣的，因爲每一台機器它的工況，它能負載，它的作業的情況，損耗的情況不一樣，而且損耗會隨着時間也會有變化。那我們就針對不同的機器做了一個液壓模型的學習。第二是針對它的運動控制去做了一個學習，它怎么挖，怎么識別，卡車怎么識別，料鬥怎么識別，說這鏟料點等等，另外就是物料的視覺感知。這些能力做完後，我們就可以四個月的時間又推出一個無人裝載機。

要實現徹底無人，數據量會需要更大，訓練時訓練周期、訓練成本也會更大。因爲感知到的數據不是說像 GPT 那種文本類的數據，它的數據，攝像頭的數據，雙目的數據，激光的數據，四周環境感知的數據非常復雜。

Q：從無人挖掘機到無人裝載機，能力遷移的難點是什么？

A：無人裝載機做了4 個月。但實際上整體的能力遷移大概只用 5 天，液壓、運動控制、視覺感知這些都能很快適配好。

真正的難點在於，每一台機器它具體的業務場景，比如新增的料堆的識別，料鬥的識別，一些特定場景的訓練，這些都是需要單獨收集數據，單獨進行標注。因此，我們還有一個衆包平台，把標注工作外包出去，像殘障人士、全職媽媽、學生都可以遠程手機去標注，用人的能力來彌補 AI 的不足。因爲對於機器而言，從挖掘機遷移到裝載機，再到以後的壓路機，面對的場景不一樣。

過去的模型在無人裝載機上沒有見過裝載場景下的料堆，挖掘場景下的石頭，是跟攪拌站的石頭、碎石、沙子是不一樣的。

所以需要針對特定場景下的一些數據進行標注，學習，形成一個數據閉環，再進一步反饋到大模型上，之後再去調用我們的模型，就可以有一個很好的應用。所以花了兩個多月的時間在數據的收集和數據標注上。

Q：建築機器人可以替代人類去做一些危險性、有潛在傷害性的工作，但前期投入研發成本都比較高，你們是怎么考慮投入產出比的？

A：這個事情我們跟中建八局測算過，可以節省 75% 的人力成本。原來至少需要 4 - 6 個人，現在只需要一個人。比如一個裝載機師傅，工資是1萬塊/月，要三班倒，一個攪拌站至少有兩台裝載機的話， 6 個師傅，一年至少 60 萬。那用上無人裝載機後，換成一個普通的人，只需要看着監控，裝載機不出錯，大部分情況不需要人工去介入。它是完全可以滿足生產的效率。

而且，可以吸引年輕人去工地。去工地幹的活更輕松了，除了看監控，還可以同時做點別的工作。一個人可以幹兩份、三份工作，會誕生出新的工作，不再局限於只能坐在裝載機本體上去幹活。

如果智能工程機械能普及开的話，硬件成本會降低，也會減少礦難等令人心痛的事情發生。

另一方面，我們核心是能夠輸出一套標准的技術，並不是去造機器。

Q：除了國內市場，海外還有可拓展的空間嗎？

A：海外需求量更大。澳洲的合作夥伴告訴我們，那邊的場景人力成本會更高。他們有的地勢陡峭，是需要專門开小型飛機接送挖掘機師傅，師傅工資也賊高，溫度超過多少度就不幹活。

我們嘗試過從澳大利亞讓他們遠程控制杭州的挖掘機，是可以行得通的。那以後，中國師傅也可以开澳大利亞的挖掘機，即使有時差，可以讓別的國家的人去开着那台挖掘機，大家永遠白天工作，只要有 5G 的網絡就可以實現，一個人還可以开多台。

而且澳洲政府是對這種智能採掘設備是有補貼的。國內目前對這方面還沒有大量的補貼，如果能像新能源一樣也對這種智能化設備有補貼的話，可能會進一步的去促進這個市場發展。

Q：你們後續的規劃是怎樣的？

A：我們更傾向於說合作夥伴可以自己來（提需求），因爲每一個場景其實差異性都非常大，我們對每一個場景的理解和學習也都需要時間。但很多合作夥伴他們本身對場景更熟悉的，那我們愿意开放出我們的工業模型，开放出我們的平台，开放出我們的能力，讓更多合作夥伴他們自己來。

我們更愿意是，我們主要把我們的核心能力做好，大模型做好，平台提供好，服務好每一個开發者，讓大家自己來做自己的應用，而不是我們把所有的場景都做了。

目前我們還處於起步階段，不同品牌、不同噸位、不同年限的機器，在不同場景，挖有色金屬、挖石灰石、挖煤，這是三種完全不同的東西，它的模型都是不一樣的，等數據足夠完備之後，模型才會進一步的強大，會促進效率會進一步提升，客戶就愿意投入更多的成本來做這件事情，形成正循環。

作者 | 趙子坤